文章詳情頁
python - 為什么感覺 pyspider 爬取的速度好慢
瀏覽：228日期：2022-08-08 09:43:03
問題描述
為什么感覺 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因為有些網頁會 retry，不過成功率倒是比自己爬取的高多了。是不是我的使用方法不對？求解釋
問題解答
回答1：這里可以設置 web ui 控制臺上的 rate/burst 參數來調節速度，rate 是 每秒抓取的數量，burst 是并發的數量，默認是 1/3 所以比較慢，還是對這個工具了解不夠呀
回答2：我沒有用過框架來寫爬蟲，但是我在自己寫爬蟲的時候，并發寫起來，模型越復雜(如線程控制，線程狀態監控)，效率是越低的。
相關文章：
1. javascript - sublime快鍵鍵問題2. javascript - immutable配合react提升性能？3. vue.js - Vue 如何像Angular.js watch 一樣監聽數據變化4. 配置Apache時，添加對PHP的支持時語法錯誤5. css - 寫頁面遇到個布局問題，求大佬們幫解答，在線等，急！~6. javascript - nodejs關于進程間發送句柄的一點疑問7. javascript - 移動端上不能實現拖拽布局嗎？8. phpstudy8.1支持win11系統嗎？9. 實現bing搜索工具urlAPI提交10. Apache 已經把網站根目錄的改為allow from all了，但是服務器還是不能訪問？
排行榜
網公網安備