文章詳情頁
python - scrapy爬蟲不能循環運行？
瀏覽：177日期：2022-07-28 11:08:58
問題描述
scrapy只能爬取一個頁面上的鏈接，不能持續運行爬完全站，以下是代碼，初學求指導。
class DbbookSpider(scrapy.Spider): name = 'imufe' allowed_domains = [’http://www.imufe.edu.cn/’] start_urls=(’http://www.imufe.edu.cn/main/dtxw/201704/t20170414_127035.html’) def parse(self, response):item = DoubanbookItem()selector = scrapy.Selector(response)print(selector)books = selector.xpath(’//a/@href’).extract()link=[]for each in books: each=urljoin(response.url,each) link.append(each)for each in link: item[’link’] = each yield itemi = random.randint(0,len(link)-1)nextPage = link[i]yield scrapy.http.Request(nextPage,callback=self.parse)
問題解答
回答1：是不是爬得太快讓封了
相關文章：
1. javascript - sublime快鍵鍵問題2. javascript - immutable配合react提升性能？3. css - 寫頁面遇到個布局問題，求大佬們幫解答，在線等，急！~4. javascript - nodejs關于進程間發送句柄的一點疑問5. Apache 已經把網站根目錄的改為allow from all了，但是服務器還是不能訪問？6. 實現bing搜索工具urlAPI提交7. 配置Apache時，添加對PHP的支持時語法錯誤8. vue.js - Vue 如何像Angular.js watch 一樣監聽數據變化9. javascript - 移動端上不能實現拖拽布局嗎？10. phpstudy8.1支持win11系統嗎？
排行榜
網公網安備