問題描述

目前公司使用HDFS存儲各個節(jié)點服務器上傳的日志。因為歷史遺留問題，所以日志比較混雜。就是各種數(shù)據(jù)都會存入日志中。一個日志文件200mb左右。有時候要過濾一些內(nèi)容，則需要根據(jù)時間戳，然后使用hdfs 的cat命令，之后再grep關鍵字。再通過stdin輸入到一個python腳本中，把相關的數(shù)據(jù)做一些處理?，F(xiàn)在我想把他做成輸入要查詢的時間、節(jié)點、關鍵字以及匹配模型，然后一條龍完成這個任務。這樣就可以把這個小工具推向所有需求數(shù)據(jù)的人，而不是每次讓運維來查詢。于是開始研究python的相關模塊，這個hdfs可以上傳下載，查詢目錄文件內(nèi)容。但是到讀這塊，就比較麻煩了。with client.read(hdfs_path=.....,其他參數(shù))as reader:

content = reader.read()然后再對content處理

這種方式并不可行，因為一次要匹配的內(nèi)容實在太多，大概有幾gb的數(shù)據(jù)，根本不可能全部讀出來然后再做處理?？隙ǖ迷谧x的過程就進行篩選和處理

我嘗試了for line in content,也匹配不出內(nèi)容。應該如何解決這個問題呢？難道用python把符合條件的文件路徑記錄下來，然后再執(zhí)行HDFS命令，再把匹配的數(shù)據(jù)傳入python？那樣也顯得太麻煩了，而且穩(wěn)定性肯定不好

后來我看了一下，hdfs這個模塊，創(chuàng)建客戶端的時候，連的是hadoop 50070這個web管理頁面，想了下是不是這個模塊本身就不是為了做數(shù)據(jù)分析用的？希望各位能給點幫助

問題解答

多線程呢，并行計算呢？你這樣一次性讀幾個Gb自然慢。既然是hadoop框架，用好mapreduce應該就行了吧。這玩意應該就不是為了快速而設計的。