如果程序一次需要處理的數據有很多，比如上千萬條寵物信息，保存在txt中有100多個G，這時候需要對每條寵物數據做逐一處理，然後對處理結果分類綜合再進行二次處理。
操作的時候，所有數據都同時放到內存中不太現實，請問這種情況下一般的處理思路是什麼？
想的是做一個中間文件，第一次處理的時候，處理一條數據保存一條數據。但因為二次處理需要對所有的數據綜合分析，所以還是要完全讀取中間文件的數據。
剛做這方面的內容，請各位前輩多多指點，十分感謝。
如果綜合分析這個過程滿足結合律，或者部分滿足結合律，可以考慮借鑒Hadoop中的partition過程，即：
從初始文件讀入，分析後根據數據內容寫到多個文件中，將需要統計分析的數據放到同一個文件中，然後逐個文件分析
