問題描述

我手頭有許多個(gè)上百M(fèi)的csv存儲(chǔ)一些數(shù)據(jù)，需要經(jīng)常使用pandas和matplotlib對(duì)這些數(shù)據(jù)讀取并進(jìn)行繪圖。在繪圖之前，通常要進(jìn)行預(yù)處理，切片等等清洗操作，因?yàn)橐?jīng)常對(duì)figure進(jìn)行交互操作和作報(bào)告，所以我在jupyter notebook中使用%matplotlib notebook進(jìn)行操作和交互，我是將這些由原始數(shù)據(jù)產(chǎn)生的中間數(shù)據(jù)由csv保存,以便下次展示時(shí)直接讀取csv獲得中間數(shù)據(jù)，還是使用pickle保存，后續(xù)使用時(shí)讀取pickle更快？

問題解答

肯定是csv安全啊，pickle似乎換一個(gè)python版本都可能導(dǎo)致讀取失敗的，這個(gè)不是通用格式。幾百兆的話，csv其實(shí)讀取速度不慢。更何況還有hdf5，這些才是正經(jīng)的數(shù)據(jù)交換格式。

csv夠用了，如果你覺得還不夠快可以試試hdf5文件