文章詳情頁(yè)
網(wǎng)頁(yè)爬蟲 - 關(guān)于python beautifullsoup解析網(wǎng)頁(yè)內(nèi)容丟失的問題？
瀏覽：204日期：2022-09-23 08:23:07
問題描述
待解析頁(yè)面的部分代碼如第一幅圖所示，我自己寫的代碼及運(yùn)行結(jié)果如第二幅圖所示。看到已經(jīng)有答主提問解析頁(yè)面丟失是因?yàn)橛玫氖莑xml的解析方式，我想說(shuō)我一直用的是html.parser的方式。希望各位大神不吝賜教~
問題解答
回答1：你們從來(lái)都不考慮javascript動(dòng)態(tài)加載的嗎？
回答2：題主，如果你用Chrome F12看的話，里面是會(huì)有動(dòng)態(tài)加載的內(nèi)容的，而這些內(nèi)容你直接請(qǐng)求頁(yè)面的url是拿不到的。建議你點(diǎn)右鍵查看網(wǎng)頁(yè)源代碼，對(duì)照著F12里面的內(nèi)容來(lái)看，源代碼里沒有的內(nèi)容，就去查看Network里的其他請(qǐng)求，看有沒有你需要的數(shù)據(jù)。
相關(guān)文章：
1. java - 判斷數(shù)據(jù)在數(shù)據(jù)庫(kù)中是否已存在.2. javascript - JS new Date() 保存到 mongodb 中會(huì)早8個(gè)小時(shí)，我們這里是東八區(qū)，mongodb 保存的是格林尼治時(shí)間3. android百度地圖定位問題4. python - django models 為生成的html元素添加樣式。5. android - 圖片列表分組之后復(fù)用問題6. javascript - 關(guān)于圣杯布局的一點(diǎn)疑惑7. css - input間的間距和文字上下居中8. 神仙姐姐講的真好！！！9. android - 有數(shù)據(jù)要處理的時(shí)候如何使用rxJava進(jìn)行異步處理數(shù)據(jù)10. 為什么我寫的PHP不行
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備