用python pandas讀取大檔案
有時候會需要用python來讀取一些比較大的檔案來對其做操作,我們可以使用pandas這個python來分塊讀取檔案

有時候會需要用python來讀取一些比較大的檔案來對其做操作,我們可以使用pandas這個python來分塊讀取檔案,可以使用pd.read_csv
中的 chunksize
來設定一次讀入多少數據。
import numpy as np
filename = r'./[filename].csv'
chunksize = 10 ** 6
def process(df):
# 你想要對檔案做的事情 。:.゚ヽ(*´∀`)ノ゚.:。
data = pd.read_csv(filename, chunksize=chunksize)
# 運用chunksize來讀取檔案會使其建立 TextFileReader 因此要用下面方式來讀取文件內容
for df in data:
process(df)