1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 读取数据
df = pd.read_csv("economics.csv", encoding='utf-8', nrows=500, skiprows=[1,2,3])
# 写出数据（to_csv|to_excel|to_json|to_pickle）
df.to_csv('output.csv', index=None)
md_text = df.to_markdown()
with open('output.md', 'w') as f:
    f.write(md_text)

# 数据索引
df.loc[8]
df.loc[8, 'date']
df.loc[range(4, 6)]
# 逻辑筛选
df[df.date == '1967-10-01']
df[df.date == '1967-10-01' & ~(df.date == '1967-10-02')] # 与非
df[df.date.isin(['1967-10-01', '1967-10-02'])]

# 绘图
df.pce.plot(); plt.show()

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 读取大型数据集
df_chunk = pd.read_csv('color_all_vggfc6.csv', chunksize=int(1e5))  # 此处只是定义了一个可迭代的 chunk 对象，还没有读入内存
chunk_list = []
for chunk in df_chunk:
    chunk_list.append(chunk)
    # 可手动控制读取多少

# 频数统计
df.uempmed.value_counts()
# map、apply、applymap等常用函数参考另一篇文章

# 相关性和相关矩阵
df.corr()
pd.plotting.scatter_matrix(df, figsize=(12, 8))

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
'''使用seaborn内置的iris数据集，根据petal_length对全部观测进行分类'''

# 分类函数
def classification(petal_length):
    if petal_length <= 2: return 1
    elif 2 < petal_length < 5: return 2
    else: return 3

# 直接使用for循环遍历
class_list = []
start = time.time()
for i in range(len(iris)):
    n = classification(iris.loc[i, 'petal_length'])
    class_list.append(n)
print(f'>>> for循环耗时：{time.time()-start} 秒')

1
2
3
4
5
6
7
8
9
# 使用 iterrows() 函数进行加速
class_list = []
start = time.time()

for index, row in iris.iterrows():
    n = classification(row['petal_length'])
    class_list.append(n)

print(f'>>> iterrows()耗时：{time.time()-start} 秒')

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# 使用 apply() 函数进行矢量化运算
start = time.time()

row_to_class_func = lambda row: classification(row['petal_length'])
class_list = iris.apply(row_to_class_func, axis=1)    # axis=1时对每行进行apply

print(f'>>> apply()耗时：{time.time()-start} 秒')

# 使用 cut() 函数进行分类减少耗时
start = time.time()

class_list = pd.cut(x=iris.petal_length, 
                    bins = [0, 2, 5, 1e4],
                    include_lowest = True,
                    labels=[1, 2, 3]
                    ).astype(int)

print(f'>>> cut()耗时：{time.time()-start} 秒')