node.js - 關于Node爬蟲爬小說的問題
問題描述
最近因為沒小說看,也無聊,就想著用Node來寫爬蟲爬書下來,弄了好幾天有些問題。爬小說異步的話章節不是順序排列的,所以用了sync-request進行同步操作,我爬的是筆趣閣這個網站上的書,現在由于剛學,只是做了爬單本書的。我發現在爬取的時候,會假死掉,停在那不動了,而且每次的章節數不同,我就加了個十秒的timeout超時,但是還是會出現這種假死的情況。后來百度了下,說網站是有防止爬蟲的東東的,具體我也不太清楚==,我就想,那我就加個間隔咯,我讓他每請求十次就休息20秒鐘,再重新爬。結果!!!還是會假死,233333。所以現在有點不明白為啥了,想求教一下,給點思路。拜托各位~~
下面是我請求的代碼,具體章節列表我在另一個js里面爬出來寫在json里面了,這邊是直接請求每個鏈接的了:
var http = require(’http’)var fs = require(’fs’)var cheerio = require(’cheerio’)var iconv = require(’iconv-lite’)var request = require(’sync-request’)var urlList = JSON.parse(fs.readFileSync(’list.json’, ’utf-8’))var header = JSON.parse(fs.readFileSync(’header.json’), ’utf-8’)//爬取每章節正文并存在txt中function getContent(list,title) { //用try catch進行錯誤捕獲,防止報錯跳出 try{ var res = request(’GET’,list.link,{ ’timeout’: 10000, ’retry’: true, ’retryDelay’: 10000 }) var html = iconv.decode(res.body, ’utf8’) var $ = cheerio.load(html,{ decodeEntities: false }) var ContentTitle = $(’.bookname h1’).text() var ContentText = $(’#content’).text().trim().replace(’readx();’, ’’).replace(/ /g, ’’) fs.appendFileSync(title+'.txt', ContentTitle) fs.appendFileSync(title+'.txt', ContentText) console.log('爬取' + list.link + '成功') }catch(err) { console.log('爬取' + list.link + '出錯') }}//為了達到間隔的調用請求做了遞歸調用function getUrl(index) { for (let i = index;i < urlList.length;i++){ if (i>0 && i%10 == 0){ getContent(urlList[i],header.title) console.log('休息一下') setTimeout(() => {i++getUrl(i) },20000) return }else { console.log(i) getContent(urlList[i],header.title) } }}getUrl(0)

就和這個一樣,爬了一段時間就這樣了,就跟死機了似得,后面不管等多久都沒動靜,設置的超時啥的也沒有反應
問題解答
回答1:這兩天一直在弄這個問題,起初是以為是sync-request的問題,后來換了別的還是一樣。我就猜可能是ip網站給屏蔽了還是什么的,后來中午吃飯和同事閑聊,順便就請教了下,他們也就是說大概就這個問題。既然如此,我就去弄了些免費的代理IP,然后在請求的時候,只要是請求超時或者報錯就立馬切換一個IP地址去請求。這樣下來,昨天特地爬了一個很大的小說,今天上班過來一看,全部爬下來了,沒有出現問題,哈哈。不過免費的代理IP很多都用不了,所以在這上面浪費了部分時間。現在要開始看看怎么爬多本書了,↖(^ω^)↗
相關文章:
1. javascript - sublime快鍵鍵問題2. javascript - immutable配合react提升性能?3. vue.js - Vue 如何像Angular.js watch 一樣監聽數據變化4. javascript - 移動端上不能實現拖拽布局嗎?5. 實現bing搜索工具urlAPI提交6. javascript - react native在run-android時出現這個錯誤該怎么解決?大神賜教7. javascript - 如何判斷不同兩個對象觸發同一事件?8. thinkPHP5中獲取數據庫數據后默認選中下拉框的值,傳遞到后臺消失不見。有圖有代碼,希望有人幫忙9. javascript - ios返回不執行js怎么解決?10. index.php錯誤,求指點

網公網安備