網頁爬蟲 - python 爬取網站 并解析非json內容
問題描述
小弟剛學會獲得json的內容，但今天爬的網站返回的并不是json內容 并且會有一個隨機數的生成在每次請求鏈接的后面
不知道會不會影響我要爬的內容
需要獲得內容是下圖中間的內容
網站鏈接 http://www.szse.cn/main/discl...
我自己嘗試的代碼：
import requestsdir = ’/Users/S1Lence/Desktop/new_html/szse/許可類重組問詢函’headers = {’Host’: ’www.szse.cn’, ’Referer’: ’http://www.szse.cn/main/disclosure/jgxxgk/wxhj/’, ’User-Agent’: ’Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.109 Safari/537.36’ }payload= {’ACTIONID’: ’7’, ’AJAX’: ’AJAX-TRUE’, ’CATALOGID’: ’main_wxhj’, ’TABKEY’: ’tab1’, ’selecthjlb’: ’許可類重組問詢函’, ’tab1PAGENO’: ’1’, ’tab1PAGECOUNT’: ’7’, ’tab1RECORDCOUNT’: ’63’, ’REPORT_ACTION’: ’navigate’}res = requests.post(’http://www.szse.cn/szseWeb/FrontControllere’, data=payload)print(res.text)
輸出的內容并不是我想要的 求解應該怎么爬
問題解答
回答1：把他的header信息拷過來用。。
回答2：你post的url地址寫錯了，應該是
http://www.szse.cn/szseWeb/FrontController.szse
相關文章：
1. javascript - sublime快鍵鍵問題2. javascript - 移動端上不能實現拖拽布局嗎？3. 實現bing搜索工具urlAPI提交4. javascript - 如何判斷不同兩個對象觸發同一事件？5. ubuntu - apache安裝好后php文件放在哪里？6. javascript - react native在run-android時出現這個錯誤該怎么解決？大神賜教7. angular.js - 單頁應用（ng/vue）該如何監聽用戶離開當前頁面（或者路由）？8. c++ - QWebEngineView加載url后直接點擊鏈接沒有反應要怎么解決？9. 前端 - 這段代碼一直生效不了，查半天因為 top: 0px; 分號后一個隱藏的東西，也不是占位符...刪了就可以生效，這是什么情況。。10. thinkPHP5中獲取數據庫數據后默認選中下拉框的值，傳遞到后臺消失不見。有圖有代碼，希望有人幫忙
網公網安備