【python】pandas

pandasとは？？

データ処理を効率化する機能を提供するライブラリです

DataFrame pandasはデータを DataFrame という形式に変換してプログラムを書いていきます。

Python
import pandas
import numpy
numpy.random.seed(42)
# 10行5列の配列（要素は乱数）を作る
data = numpy.random.randn(10, 5)
print(data)
＃出力：
[[ 0.49671415 -0.1382643   0.64768854  1.52302986 -0.23415337]
 [-0.23413696  1.57921282  0.76743473 -0.46947439  0.54256004]
 [-0.46341769 -0.46572975  0.24196227 -1.91328024 -1.72491783]
 [-0.56228753 -1.01283112  0.31424733 -0.90802408 -1.4123037 ]
 [ 1.46564877 -0.2257763   0.0675282  -1.42474819 -0.54438272]
 [ 0.11092259 -1.15099358  0.37569802 -0.60063869 -0.29169375]
 [-0.60170661  1.85227818 -0.01349722 -1.05771093  0.82254491]
 [-1.22084365  0.2088636  -1.95967012 -1.32818605  0.19686124]
 [ 0.73846658  0.17136828 -0.11564828 -0.3011037  -1.47852199]
 [-0.71984421 -0.46063877  1.05712223  0.34361829 -1.76304016]]

# dataを要素とするDataFrameを作る
df = pandas.DataFrame(data, columns=['A', 'B', 'C', 'D', 'E'])
print(df)
＃出力
          A         B         C         D         E
0  0.496714 -0.138264  0.647689  1.523030 -0.234153
1 -0.234137  1.579213  0.767435 -0.469474  0.542560
2 -0.463418 -0.465730  0.241962 -1.913280 -1.724918
3 -0.562288 -1.012831  0.314247 -0.908024 -1.412304
4  1.465649 -0.225776  0.067528 -1.424748 -0.544383
5  0.110923 -1.150994  0.375698 -0.600639 -0.291694
6 -0.601707  1.852278 -0.013497 -1.057711  0.822545
7 -1.220844  0.208864 -1.959670 -1.328186  0.196861
8  0.738467  0.171368 -0.115648 -0.301104 -1.478522
9 -0.719844 -0.460639  1.057122  0.343618 -1.763040

				
					
				1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

						import pandas
import numpy
numpy.random.seed(42)
# 10行5列の配列（要素は乱数）を作る
data = numpy.random.randn(10, 5)
print(data)
＃出力：
[[ 0.49671415 -0.1382643   0.64768854  1.52302986 -0.23415337]
 [-0.23413696  1.57921282  0.76743473 -0.46947439  0.54256004]
 [-0.46341769 -0.46572975  0.24196227 -1.91328024 -1.72491783]
 [-0.56228753 -1.01283112  0.31424733 -0.90802408 -1.4123037 ]
 [ 1.46564877 -0.2257763   0.0675282  -1.42474819 -0.54438272]
 [ 0.11092259 -1.15099358  0.37569802 -0.60063869 -0.29169375]
 [-0.60170661  1.85227818 -0.01349722 -1.05771093  0.82254491]
 [-1.22084365  0.2088636  -1.95967012 -1.32818605  0.19686124]
 [ 0.73846658  0.17136828 -0.11564828 -0.3011037  -1.47852199]
 [-0.71984421 -0.46063877  1.05712223  0.34361829 -1.76304016]]
 
# dataを要素とするDataFrameを作る
df = pandas.DataFrame(data, columns=['A', 'B', 'C', 'D', 'E'])
print(df)
＃出力
          A         B         C         D         E
0  0.496714 -0.138264  0.647689  1.523030 -0.234153
1 -0.234137  1.579213  0.767435 -0.469474  0.542560
2 -0.463418 -0.465730  0.241962 -1.913280 -1.724918
3 -0.562288 -1.012831  0.314247 -0.908024 -1.412304
4  1.465649 -0.225776  0.067528 -1.424748 -0.544383
5  0.110923 -1.150994  0.375698 -0.600639 -0.291694
6 -0.601707  1.852278 -0.013497 -1.057711  0.822545
7 -1.220844  0.208864 -1.959670 -1.328186  0.196861
8  0.738467  0.171368 -0.115648 -0.301104 -1.478522
9 -0.719844 -0.460639  1.057122  0.343618 -1.763040

					

			

DataFrame の基本的な操作

取得

# 先頭3行を取得する
print(df.head(3))
#出力：
          A         B         C         D         E
0  0.496714 -0.138264  0.647689  1.523030 -0.234153
1 -0.234137  1.579213  0.767435 -0.469474  0.542560
2 -0.463418 -0.465730  0.241962 -1.913280 -1.724918

# 後尾３行を取得する
print(df.tail(3))
#出力：
          A         B         C         D         E
7 -1.220844  0.208864 -1.959670 -1.328186  0.196861
8  0.738467  0.171368 -0.115648 -0.301104 -1.478522
9 -0.719844 -0.460639  1.057122  0.343618 -1.763040

				
					
				1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

						# 先頭3行を取得する
print(df.head(3))
#出力：
          A         B         C         D         E
0  0.496714 -0.138264  0.647689  1.523030 -0.234153
1 -0.234137  1.579213  0.767435 -0.469474  0.542560
2 -0.463418 -0.465730  0.241962 -1.913280 -1.724918
 
# 後尾３行を取得する
print(df.tail(3))
#出力：
          A         B         C         D         E
7 -1.220844  0.208864 -1.959670 -1.328186  0.196861
8  0.738467  0.171368 -0.115648 -0.301104 -1.478522
9 -0.719844 -0.460639  1.057122  0.343618 -1.763040

					

			

index 属性

DataFrame の行インデックスです。

Python
print(df.index)
#出力：
RangeIndex(start=0, stop=10, step=1)

				1
2
3

						print(df.index)
#出力：
RangeIndex(start=0, stop=10, step=1)

今回の例では、0から9の数字（DataFrame を表示したときの一番左の列）が RangeIndex というクラスのインスタンスで表現されています。 columns 属性は列のカラム名を取得します（DataFrame を表示したときの一番上の行）

print(df.columns)
出力：
Index(['A', 'B', 'C', 'D', 'E'], dtype='object')

print(df.columns)

出力：

Index(['A', 'B', 'C', 'D', 'E'], dtype='object')

values 属性

DataFrame のデータ部分を取得します。

Python
print(df.values)
出力：
[[ 0.49671415 -0.1382643   0.64768854  1.52302986 -0.23415337]
 [-0.23413696  1.57921282  0.76743473 -0.46947439  0.54256004]
 [-0.46341769 -0.46572975  0.24196227 -1.91328024 -1.72491783]
 [-0.56228753 -1.01283112  0.31424733 -0.90802408 -1.4123037 ]
 [ 1.46564877 -0.2257763   0.0675282  -1.42474819 -0.54438272]
 [ 0.11092259 -1.15099358  0.37569802 -0.60063869 -0.29169375]
 [-0.60170661  1.85227818 -0.01349722 -1.05771093  0.82254491]
 [-1.22084365  0.2088636  -1.95967012 -1.32818605  0.19686124]
 [ 0.73846658  0.17136828 -0.11564828 -0.3011037  -1.47852199]
 [-0.71984421 -0.46063877  1.05712223  0.34361829 -1.76304016]]

				
					
				1
2
3
4
5
6
7
8
9
10
11
12

						print(df.values)
出力：
[[ 0.49671415 -0.1382643   0.64768854  1.52302986 -0.23415337]
 [-0.23413696  1.57921282  0.76743473 -0.46947439  0.54256004]
 [-0.46341769 -0.46572975  0.24196227 -1.91328024 -1.72491783]
 [-0.56228753 -1.01283112  0.31424733 -0.90802408 -1.4123037 ]
 [ 1.46564877 -0.2257763   0.0675282  -1.42474819 -0.54438272]
 [ 0.11092259 -1.15099358  0.37569802 -0.60063869 -0.29169375]
 [-0.60170661  1.85227818 -0.01349722 -1.05771093  0.82254491]
 [-1.22084365  0.2088636  -1.95967012 -1.32818605  0.19686124]
 [ 0.73846658  0.17136828 -0.11564828 -0.3011037  -1.47852199]
 [-0.71984421 -0.46063877  1.05712223  0.34361829 -1.76304016]]

					

			

統計情報

describe() メソッドはいくつか有名な統計情報（最大値、最小値、平均など）を計算します。

print(df.describe())
出力：
               A          B          C          D          E
count  10.000000  10.000000  10.000000  10.000000  10.000000
mean   -0.099048   0.035749   0.138287  -0.613652  -0.588705
std     0.803521   0.990783   0.822706   0.985547   0.957109
min    -1.220844  -1.150994  -1.959670  -1.913280  -1.763040
25%    -0.591852  -0.464457   0.006759  -1.260567  -1.461967
50%    -0.348777  -0.182020   0.278105  -0.754331  -0.418038
75%     0.400266   0.199490   0.579691  -0.343196   0.089108
max     1.465649   1.852278   1.057122   1.523030   0.822545

print(df.describe())

出力：

A B C D E

count 10.000000 10.000000 10.000000 10.000000 10.000000

mean -0.099048 0.035749 0.138287 -0.613652 -0.588705

std 0.803521 0.990783 0.822706 0.985547 0.957109

min -1.220844 -1.150994 -1.959670 -1.913280 -1.763040

25% -0.591852 -0.464457 0.006759 -1.260567 -1.461967

50% -0.348777 -0.182020 0.278105 -0.754331 -0.418038

75% 0.400266 0.199490 0.579691 -0.343196 0.089108

max 1.465649 1.852278 1.057122 1.523030 0.822545

選択

ある1つのカラムを取得するときは角括弧 [] を利用します。

Python
print(df['C'])
出力：
0    0.647689
1    0.767435
2    0.241962
3    0.314247
4    0.067528
5    0.375698
6   -0.013497
7   -1.959670
8   -0.115648
9    1.057122
Name: C, dtype: float64

				
					
				1
2
3
4
5
6
7
8
9
10
11
12
13

						print(df['C'])
出力：
0    0.647689
1    0.767435
2    0.241962
3    0.314247
4    0.067528
5    0.375698
6   -0.013497
7   -1.959670
8   -0.115648
9    1.057122
Name: C, dtype: float64

					

			

角括弧 [] にスライスを指定すると行の取得ができます。

Python
# 2行目から5行目を取得する 
print(df[1:5])
出力：
          A         B         C         D         E
1 -0.234137  1.579213  0.767435 -0.469474  0.542560
2 -0.463418 -0.465730  0.241962 -1.913280 -1.724918
3 -0.562288 -1.012831  0.314247 -0.908024 -1.412304
4  1.465649 -0.225776  0.067528 -1.424748 -0.544383

				
					
				1
2
3
4
5
6
7
8

						# 2行目から5行目を取得する 
print(df[1:5])
出力：
          A         B         C         D         E
1 -0.234137  1.579213  0.767435 -0.469474  0.542560
2 -0.463418 -0.465730  0.241962 -1.913280 -1.724918
3 -0.562288 -1.012831  0.314247 -0.908024 -1.412304
4  1.465649 -0.225776  0.067528 -1.424748 -0.544383

					

			

locプロバティ

複数のカラム名（ラベル）を指定して選択する

Python
# A, B, Eの全行を取得する
print(df.loc[:, ['A', 'B', 'E']])
出力：
          A         B         E
0  0.496714 -0.138264 -0.234153
1 -0.234137  1.579213  0.542560
2 -0.463418 -0.465730 -1.724918
3 -0.562288 -1.012831 -1.412304
4  1.465649 -0.225776 -0.544383
5  0.110923 -1.150994 -0.291694
6 -0.601707  1.852278  0.822545
7 -1.220844  0.208864  0.196861
8  0.738467  0.171368 -1.478522
9 -0.719844 -0.460639 -1.763040

				
					
				1
2
3
4
5
6
7
8
9
10
11
12
13
14

						# A, B, Eの全行を取得する
print(df.loc[:, ['A', 'B', 'E']])
出力：
          A         B         E
0  0.496714 -0.138264 -0.234153
1 -0.234137  1.579213  0.542560
2 -0.463418 -0.465730 -1.724918
3 -0.562288 -1.012831 -1.412304
4  1.465649 -0.225776 -0.544383
5  0.110923 -1.150994 -0.291694
6 -0.601707  1.852278  0.822545
7 -1.220844  0.208864  0.196861
8  0.738467  0.171368 -1.478522
9 -0.719844 -0.460639 -1.763040

					

			

Python
# A, B, Eの2から5行目を取得する
print(df.loc[1:4, ['A', 'B', 'E']])
出力：
          A         B         E
1 -0.234137  1.579213  0.542560
2 -0.463418 -0.465730 -1.724918
3 -0.562288 -1.012831 -1.412304
4  1.465649 -0.225776 -0.544383

				
					
				1
2
3
4
5
6
7
8

						# A, B, Eの2から5行目を取得する
print(df.loc[1:4, ['A', 'B', 'E']])
出力：
          A         B         E
1 -0.234137  1.579213  0.542560
2 -0.463418 -0.465730 -1.724918
3 -0.562288 -1.012831 -1.412304
4  1.465649 -0.225776 -0.544383

					

			

Pythonのリストでは [start:end] と指定したときに end が含まれませんでしたが、loc プロパティのスライスには end が含まれます。

iloc プロパティ

行と列の位置を指定して選択します。

Python
# 4行目 
print(df.iloc[3])
出力：
A   -0.562288
B   -1.012831
C    0.314247
D   -0.908024
E   -1.412304
Name: 3, dtype: float64


# 2から3行目、2から3列目
print(df.iloc[1:3, 1:3])
出力：
          B         C
1  1.579213  0.767435
2 -0.465730  0.241962

				
					
				1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

						# 4行目 
print(df.iloc[3])
出力：
A   -0.562288
B   -1.012831
C    0.314247
D   -0.908024
E   -1.412304
Name: 3, dtype: float64
 
 
# 2から3行目、2から3列目
print(df.iloc[1:3, 1:3])
出力：
          B         C
1  1.579213  0.767435
2 -0.465730  0.241962

					

			

iloc プロパティに与えるスライスは end が含まれない

Boolean Indexing ある条件を満たす行や列を取得する方法を見ていきます。 NumPyの節で mask を作ったのと同様に、DataFrameにも mask を与えることができます。例えば、A列が0以上の行だけを取り出すときは以下のようにします。

mask = (df['A'] >= 0)
print(mask)
出力：
0     True
1    False
2    False
3    False
4     True
5     True
6    False
7    False
8     True
9    False
Name: A, dtype: bool

print(df[mask])
出力：
          A         B         C         D         E
0  0.496714 -0.138264  0.647689  1.523030 -0.234153
4  1.465649 -0.225776  0.067528 -1.424748 -0.544383
5  0.110923 -1.150994  0.375698 -0.600639 -0.291694
8  0.738467  0.171368 -0.115648 -0.301104 -1.478522

print(df[df['A'] >= 0])
出力：
          A         B         C         D         E
0  0.496714 -0.138264  0.647689  1.523030 -0.234153
4  1.465649 -0.225776  0.067528 -1.424748 -0.544383
5  0.110923 -1.150994  0.375698 -0.600639 -0.291694
8  0.738467  0.171368 -0.115648 -0.301104 -1.478522

#角括弧 [] の中に条件を書くことで指定できます。 
そして、条件を満たさない要素には NaN という値が入ります。
print(df[df >= 0])
出力：
          A         B         C         D         E
0  0.496714       NaN  0.647689  1.523030       NaN
1       NaN  1.579213  0.767435       NaN  0.542560
2       NaN       NaN  0.241962       NaN       NaN
3       NaN       NaN  0.314247       NaN       NaN
4  1.465649       NaN  0.067528       NaN       NaN
5  0.110923       NaN  0.375698       NaN       NaN
6       NaN  1.852278       NaN       NaN  0.822545
7       NaN  0.208864       NaN       NaN  0.196861
8  0.738467  0.171368       NaN       NaN       NaN
9       NaN       NaN  1.057122  0.343618       NaN

mask = (df['A'] >= 0)

print(mask)

出力：

0 True

1 False

2 False

3 False

4 True

5 True

6 False

7 False

8 True

9 False

Name: A, dtype: bool

print(df[mask])

出力：

A B C D E

0 0.496714 -0.138264 0.647689 1.523030 -0.234153

4 1.465649 -0.225776 0.067528 -1.424748 -0.544383

5 0.110923 -1.150994 0.375698 -0.600639 -0.291694

8 0.738467 0.171368 -0.115648 -0.301104 -1.478522

print(df[df['A'] >= 0])

出力：

A B C D E

0 0.496714 -0.138264 0.647689 1.523030 -0.234153

4 1.465649 -0.225776 0.067528 -1.424748 -0.544383

5 0.110923 -1.150994 0.375698 -0.600639 -0.291694

8 0.738467 0.171368 -0.115648 -0.301104 -1.478522

#角括弧 [] の中に条件を書くことで指定できます。

そして、条件を満たさない要素には NaN という値が入ります。

print(df[df >= 0])

出力：

A B C D E

0 0.496714 NaN 0.647689 1.523030 NaN

1 NaN 1.579213 0.767435 NaN 0.542560

2 NaN NaN 0.241962 NaN NaN

3 NaN NaN 0.314247 NaN NaN

4 1.465649 NaN 0.067528 NaN NaN

5 0.110923 NaN 0.375698 NaN NaN

6 NaN 1.852278 NaN NaN 0.822545

7 NaN 0.208864 NaN NaN 0.196861

8 0.738467 0.171368 NaN NaN NaN

9 NaN NaN 1.057122 0.343618 NaN

統計操作

平均を求める

print(df.mean())
出力 ：
A   -0.099048
B    0.035749
C    0.138287
D   -0.613652
E   -0.588705
dtype: float64

#axis をパラメータとして与えることで平均を取る方向を指定することができます。
print(df.mean(axis=1))
出力 ：
0    0.459003
1    0.437119
2   -0.865077
3   -0.716240
4   -0.132346
5   -0.311341
6    0.200382
7   -0.820595
8   -0.197088
9   -0.308557
dtype: float64

print(df.mean())

出力：

A -0.099048

B 0.035749

C 0.138287

D -0.613652

E -0.588705

dtype: float64

#axis をパラメータとして与えることで平均を取る方向を指定することができます。

print(df.mean(axis=1))

出力：

0 0.459003

1 0.437119

2 -0.865077

3 -0.716240

4 -0.132346

5 -0.311341

6 0.200382

7 -0.820595

8 -0.197088

9 -0.308557

dtype: float64

和を求める

#sum() メソッドは和を求めます。
print(df.sum())
出力 ：
A   -0.990485
B    0.357489
C    1.382866
D   -6.136518
E   -5.887047
dtype: float64

#sum() メソッドも axis を与えることで和を求める方向を指定することができます。
print(df.sum(axis=1))
出力 ：
0    2.295015
1    2.185596
2   -4.325383
3   -3.581199
4   -0.661730
5   -1.556705
6    1.001908
7   -4.102975
8   -0.985439
9   -1.542783
dtype: float64

#sum() メソッドは和を求めます。

print(df.sum())

出力：

A -0.990485

B 0.357489

C 1.382866

D -6.136518

E -5.887047

dtype: float64

#sum() メソッドも axis を与えることで和を求める方向を指定することができます。

print(df.sum(axis=1))

出力：

0 2.295015

1 2.185596

2 -4.325383

3 -3.581199

4 -0.661730

5 -1.556705

6 1.001908

7 -4.102975

8 -0.985439

9 -1.542783

dtype: float64

Python

pandasとは？？

DataFrame の基本的な操作

取得

index 属性

values 属性

統計情報

選択

locプロバティ

iloc プロパティ

統計操作

平均を求める

和を求める

【python】内包表記

【python】if文,for文,while文

【python】Matplotlib

コーディングのコツ【python】

【python】set(集合型)

【python】list(リスト型)

【今まで使ったコマンドと使用例】Linux コマンド集　（随時更新）

【emacsはクソ!ってほんと？】emacsの便利な機能

【何でも実装可能!?】C言語ライブラリ関数

【今まで使ったコマンドと使用例】Linux コマンド集　（随時更新）

【emacsはクソ!ってほんと？】emacsの便利な機能

【何でも実装可能!?】C言語ライブラリ関数

【最強のエディタ】Vimまとめ

【何その行列!?】様々な行列と役割

【ネットワーク】プロセス間の通信【TCP・UDP（トランスポート層）】

【フーリエ解析】フーリエ解析公式まとめ

【バージョン管理】GitとGithub

【ネットワーク】プロセス間の通信【IP（インターネット層）】

前置詞のコアイメージ#1

pandasとは？？

DataFrame の基本的な操作

取得

index 属性

values 属性

統計情報

選択

locプロバティ

iloc プロパティ

統計操作

平均を求める

和を求める

【python】内包表記

【python】if文,for文,while文

【python】Matplotlib

コーディングのコツ【python】

【python】set(集合型)

【python】list(リスト型)

【今まで使ったコマンドと使用例】Linux コマンド集 （随時更新）

【emacsはクソ!ってほんと？】emacsの便利な機能

【何でも実装可能!?】C言語ライブラリ関数

【今まで使ったコマンドと使用例】Linux コマンド集 （随時更新）

【emacsはクソ!ってほんと？】emacsの便利な機能

【何でも実装可能!?】C言語ライブラリ関数

【最強のエディタ】Vimまとめ

【何その行列!?】様々な行列と役割

【ネットワーク】プロセス間の通信【TCP・UDP（トランスポート層）】

【フーリエ解析】フーリエ解析公式まとめ

【バージョン管理】GitとGithub

【ネットワーク】プロセス間の通信【IP（インターネット層）】

前置詞のコアイメージ#1

【今まで使ったコマンドと使用例】Linux コマンド集　（随時更新）

【今まで使ったコマンドと使用例】Linux コマンド集　（随時更新）