Python爬取網(wǎng)頁requests亂碼
問題描述
**之前有在裁判文書上爬取數(shù)據(jù),這段時(shí)間重新運(yùn)行爬蟲后發(fā)現(xiàn)無法獲取網(wǎng)頁數(shù)據(jù),找了一下發(fā)現(xiàn)requests網(wǎng)頁源碼返回的是亂碼**
(如下截取一部分返回的數(shù)據(jù):<meta http-equiv='Content-Type' content='text/html; charset=utf-8'><meta )
不知道是不是網(wǎng)站對(duì)網(wǎng)頁內(nèi)容進(jìn)行了加密,請(qǐng)問如何解決這個(gè)問題?謝謝!
截取部分程序源碼:
headers = {’User-Agent’: ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36’,’Accept’: ’text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8’,’Accept-Language’: ’zh-TW,zh;q=0.8,en-US;q=0.6,en;q=0.4’,’Accept-Encoding’: ’gzip, deflate’,’Connection’: ’keep-alive’,’Content-Type’: ’text/html; charset=utf-8’}html = requests.post(’http://wenshu.court.gov.cn/List/ListContent’, data=data, headers=headers)print(html.text)
但是在審查元素里返回應(yīng)該返回的數(shù)據(jù),請(qǐng)問這哪里出現(xiàn)了問題?

之前程序正常運(yùn)行時(shí)返回的數(shù)據(jù)是這樣的:
問題解答
回答1:ajax 加載的結(jié)果頁面,如果在 network 里獲取不到類似 json 的反饋結(jié)果。就使用PHANTOMJS來模擬加載。然后匹配爬取。
回答2:你的 html 對(duì)象使用的編碼不對(duì),加入一行 html.encoding = html.apparent_encoding根據(jù)實(shí)際獲取的 text 推測(cè)編碼,重新解碼。
回答3:如果你愿意去鉆,給你個(gè)參考地址:http://www.qingpingshan.com/j...
回答4:print html.content
相關(guān)文章:
1. javascript - immutable配合react提升性能?2. javascript - sublime快鍵鍵問題3. Apache 已經(jīng)把網(wǎng)站根目錄的改為allow from all了,但是服務(wù)器還是不能訪問?4. javascript - 移動(dòng)端上不能實(shí)現(xiàn)拖拽布局嗎?5. css - 寫頁面遇到個(gè)布局問題,求大佬們幫解答,在線等,急!~6. vue.js - Vue 如何像Angular.js watch 一樣監(jiān)聽數(shù)據(jù)變化7. 配置Apache時(shí),添加對(duì)PHP的支持時(shí)語法錯(cuò)誤8. 實(shí)現(xiàn)bing搜索工具urlAPI提交9. phpstudy8.1支持win11系統(tǒng)嗎?10. javascript - nodejs關(guān)于進(jìn)程間發(fā)送句柄的一點(diǎn)疑問

網(wǎng)公網(wǎng)安備