文章詳情頁
java - hadoop數據查找
瀏覽：216日期：2024-02-06 11:45:32
問題描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每個string對應的那一行，每條數據都不重復，請問怎么可以快速的找到呢？我寫了簡單的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
結果慢的要死，一直動不都不懂，請問有快點的辦法嗎？最好是可以一次性找出集合中所有的
問題解答
回答1：這個寫MR吧，如果你想省事就把數據導入到hive中，用sql 來解決
標簽：
java
相關文章：
1. javascript - sublime快鍵鍵問題2. javascript - immutable配合react提升性能？3. Apache 已經把網站根目錄的改為allow from all了，但是服務器還是不能訪問？4. css - 寫頁面遇到個布局問題，求大佬們幫解答，在線等，急！~5. javascript - 移動端上不能實現拖拽布局嗎？6. phpstudy8.1支持win11系統嗎？7. 實現bing搜索工具urlAPI提交8. 配置Apache時，添加對PHP的支持時語法錯誤9. javascript - nodejs關于進程間發送句柄的一點疑問10. vue.js - Vue 如何像Angular.js watch 一樣監聽數據變化
排行榜
網公網安備