文章詳情頁
javascript - superagent爬取網站出現重定向問題
瀏覽:205日期:2023-09-08 13:27:07
問題描述
用superagent爬網頁,遇到重定向,拿不到重定向后的響應體,該如何解決,如何獲取重定向后的網頁
我想獲取501頁面的res,但是他跳轉到37018頁面,導致我拿到501頁面的空res。
測試了爬取不到的網頁,發現有2種情況
一開始進入網頁響應碼是200,過一小會刷新變成304
一進入響應碼從301重定向到200,過一小會刷新變成304
測試了能爬取到的網頁,發現有2種情況
一進入響應碼從301重定向到200,過一小會刷新變成304
一開始進入網頁響應碼是200,過一小會刷新變成304
啊,我擦,那就沒什么區別啦,小白不知道這跟我爬不到內容有沒有關系,orz
再再補充
問題不在重定向,而在于我的正則表達式匹配問題
問題解答
回答1:你都不看官方文檔的嗎?
Following redirects
By default up to 5 redirects will be followed, however you may specifythis with the res.redirects(n) method:
request .get(’/some.png’) .redirects(2) .end(callback);
標簽:
JavaScript
上一條:javascript - Promise 封裝ajax想順序執行ajax,但是發現并沒有按照順序執行,高手指點下一條:javascript - node安裝 webpack的Dev-server 失敗怎么整
相關文章:
1. javascript - sublime快鍵鍵問題2. javascript - 移動端上不能實現拖拽布局嗎?3. 實現bing搜索工具urlAPI提交4. javascript - 如何判斷不同兩個對象觸發同一事件?5. ubuntu - apache安裝好后php文件放在哪里?6. javascript - react native在run-android時出現這個錯誤該怎么解決?大神賜教7. angular.js - 單頁應用(ng/vue)該如何監聽用戶離開當前頁面(或者路由)?8. c++ - QWebEngineView加載url后直接點擊鏈接沒有反應要怎么解決?9. 前端 - 這段代碼一直生效不了,查半天因為 top: 0px; 分號后一個隱藏的東西,也不是占位符...刪了就可以生效,這是什么情況。。10. thinkPHP5中獲取數據庫數據后默認選中下拉框的值,傳遞到后臺消失不見。有圖有代碼,希望有人幫忙
排行榜

網公網安備