python - pyspider翻頁問題?
問題描述
想要爬取愛卡汽車的每個汽車的口碑,但是在翻頁問題總是進不去,無論是用chorme還是自帶的css selector helper抓取到的CSS PATH都無法翻頁,請求幫助,代碼如下
#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2017-03-21 12:57:03# Project: test03import refrom pyspider.libs.base_handler import *class Handler(BaseHandler): crawl_config = { } @every(minutes=24 * 60) def on_start(self):self.crawl(’http://newcar.xcar.com.cn/price/’, callback=self.index_page) @config(age=10 * 24 * 60 * 60) def index_page(self, response):for each in response.doc(’a[href^='http']’).items(): if re.match('http://newcar.xcar.com.cn/d', each.attr.href, re.U): self.crawl(each.attr.href, callback=self.list_page) def list_page(self, response):for each in response.doc(’body > p.demio_wp > p > ul > li:nth-child(6) > a’).items(): self.crawl(each.attr.href, callback=self.list_page1)def list_page1(self, response):for each in response.doc(’.review_gml_tit > .more’).items(): self.crawl(each.attr.href, callback=self.detail_page) #翻頁,問題出在下面這里for each in response.doc(’body > p.review_main > p.review_left > p > p.review_comments > p.review_comments_dl > p.pagers > a:nth-child(2)’).items(): self.crawl(each.attr.href, callback=self.list_page1)@config(priority=2) def detail_page(self, response):return { 'branch':response.doc(’#nav_ps > em > a’).text(), 'text':response.doc(’body > p.review_main > p.review_left > p > p.review_comments > p.review_comments_dl > dl > dd’).text(), }
問題解答
回答1:評論是 javascript 加載的。
相關文章:
1. javascript - sublime快鍵鍵問題2. javascript - immutable配合react提升性能?3. css - 寫頁面遇到個布局問題,求大佬們幫解答,在線等,急!~4. javascript - nodejs關于進程間發送句柄的一點疑問5. Apache 已經把網站根目錄的改為allow from all了,但是服務器還是不能訪問?6. 實現bing搜索工具urlAPI提交7. 配置Apache時,添加對PHP的支持時語法錯誤8. vue.js - Vue 如何像Angular.js watch 一樣監聽數據變化9. javascript - 移動端上不能實現拖拽布局嗎?10. phpstudy8.1支持win11系統嗎?

網公網安備