文章詳情頁
python - 如何解決queue中同一個參數被多個線程同時調用？
瀏覽：247日期：2022-08-18 15:18:47
問題描述
本人想實現一個基礎的多線程爬蟲，初步想法是篩選目錄中多個電影標題是否有關鍵字，沒有的話就進入到詳情頁中查找電影類別中是否有關鍵字。下面是一部分代碼:
executor = ThreadPoolExecutor(max_workers=5) #Future模塊的多線程executor.map(get_page,whole) #get_page()為篩選標題的函數time.sleep(5)while not que.empty(): que_data = que.get() filter(que_data) #filter()為篩選分類關鍵字的函數,但每次五個線程同時訪問同一個url
但現在每次多個線程同時調用queue中的同一個url，請問有什么解決辦法嗎
問題解答
回答1：專門用一個線程讀取queue中的url，然后分配給某個線程
對該queue的訪問加鎖
相關文章：
1. javascript - immutable配合react提升性能？2. javascript - sublime快鍵鍵問題3. 如何解決Centos下Docker服務啟動無響應，且輸入docker命令無響應？4. javascript - 移動端上不能實現拖拽布局嗎？5. vue.js - Vue 如何像Angular.js watch 一樣監聽數據變化6. 實現bing搜索工具urlAPI提交7. index.php錯誤，求指點8. thinkPHP5中獲取數據庫數據后默認選中下拉框的值，傳遞到后臺消失不見。有圖有代碼，希望有人幫忙9. angular.js - 單頁應用（ng/vue）該如何監聽用戶離開當前頁面（或者路由）？10. javascript - ios返回不執行js怎么解決？
排行榜
網公網安備