問題描述

**之前有在裁判文書上爬取數(shù)據(jù)，這段時(shí)間重新運(yùn)行爬蟲后發(fā)現(xiàn)無法獲取網(wǎng)頁數(shù)據(jù)，找了一下發(fā)現(xiàn)requests網(wǎng)頁源碼返回的是亂碼**

（如下截取一部分返回的數(shù)據(jù)：<meta http-equiv='Content-Type' content='text/html; charset=utf-8'><meta ）不知道是不是網(wǎng)站對(duì)網(wǎng)頁內(nèi)容進(jìn)行了加密，請(qǐng)問如何解決這個(gè)問題？謝謝！

截取部分程序源碼：

headers = {’User-Agent’: ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36’,’Accept’: ’text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8’,’Accept-Language’: ’zh-TW,zh;q=0.8,en-US;q=0.6,en;q=0.4’,’Accept-Encoding’: ’gzip, deflate’,’Connection’: ’keep-alive’,’Content-Type’: ’text/html; charset=utf-8’}html = requests.post(’http://wenshu.court.gov.cn/List/ListContent’, data=data, headers=headers)print(html.text)

但是在審查元素里返回應(yīng)該返回的數(shù)據(jù)，請(qǐng)問這哪里出現(xiàn)了問題？

之前程序正常運(yùn)行時(shí)返回的數(shù)據(jù)是這樣的：

問題解答

ajax 加載的結(jié)果頁面，如果在 network 里獲取不到類似 json 的反饋結(jié)果。就使用PHANTOMJS來模擬加載。然后匹配爬取。

你的 html 對(duì)象使用的編碼不對(duì)，加入一行 html.encoding = html.apparent_encoding根據(jù)實(shí)際獲取的 text 推測(cè)編碼，重新解碼。

如果你愿意去鉆，給你個(gè)參考地址：http://www.qingpingshan.com/j...

print html.content