python-xpath獲取html文檔的部分內(nèi)容
有些時候我在們需要的用正則提取出html中某一個部分的文字內(nèi)容,如圖:

獲取dd部分的html文檔,我們要通過它的一個屬性去確定他的位置才可以拿到他這個部分我們可以看到他的這個屬性class=’row clearfix ’,然后用xpath去獲取到這部分:
name = tree.xpath('//dd[@class=’row clearfix ’]')from lxml import htmlimport requestsurl = ’http://navi.cnki.net/knavi/JournalDetail/GetArticleList?year=2018&issue=04&pykm=DZXU&pageIdx=0&pcode=CJFD’res = requests.get(url)tree = html.fromstring(res.text)name = tree.xpath('//dd[@class=’row clearfix ’]')print(name)
如果直接打印他是不能夠出來的,

我們需要對Element進(jìn)行處理,用到name1 = html.tostring(name[0]),代碼如下:
from lxml import htmlimport requestsurl = ’http://navi.cnki.net/knavi/JournalDetail/GetArticleList?year=2018&issue=04&pykm=DZXU&pageIdx=0&pcode=CJFD’res = requests.get(url)tree = html.fromstring(res.text)name = tree.xpath('//dd[@class=’row clearfix ’]')name1 = html.tostring(name[0])print(name1)
打印截圖:

但是大家可以看到里面的等內(nèi)容并不是中文,原因是我們使用tostring方法輸出的是修正后的HTML代碼,但是結(jié)果是bytes類型,在python中bytes類型是不可以進(jìn)行編碼的,需要轉(zhuǎn)換成字符串,使用代碼name1.decode(),此時我們將bytes類型轉(zhuǎn)換為str(字符串)類型。
那么此時我們關(guān)鍵是如何將$#26080;此類的符號轉(zhuǎn)換成漢字!!!那么首先要搞清楚這是什么編碼?這類符號是HTML、XML 等 SGML 類語言的轉(zhuǎn)義序列。它們不是”編碼“,也就是說我們不能使用utf-8、gbk等編碼進(jìn)行處理,需要使用HTMLParse進(jìn)行處理,完整代碼如下:
from lxml import htmlimport requestsfrom html.parser import HTMLParser #導(dǎo)入html解析庫url = ’http://navi.cnki.net/knavi/JournalDetail/GetArticleList?year=2018&issue=04&pykm=DZXU&pageIdx=0&pcode=CJFD’res = requests.get(url)tree = html.fromstring(res.text)name = tree.xpath('//dd[@class=’row clearfix ’]')name1 = html.tostring(name[0])name2 = HTMLParser().unescape(name1.decode())print(name2)
此時運(yùn)行結(jié)果如下:

那么此時就已經(jīng)大功告成了!!!
以上這篇python-xpath獲取html文檔的部分內(nèi)容就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持好吧啦網(wǎng)。
相關(guān)文章:
1. JavaScript實(shí)現(xiàn)留言板實(shí)戰(zhàn)案例2. vscode運(yùn)行php報(bào)錯php?not?found解決辦法3. 如何在python中執(zhí)行另一個py文件4. Python基于requests庫爬取網(wǎng)站信息5. 如何從Python的cmd中獲得.py文件參數(shù)6. 資深程序員:給Python軟件開發(fā)測試的25個忠告!7. 使用Blazor框架實(shí)現(xiàn)在前端瀏覽器中導(dǎo)入和導(dǎo)出Excel8. python中文本字符處理的簡單方法記錄9. ASP基礎(chǔ)知識Command對象講解10. Python-openpyxl表格讀取寫入的案例詳解

網(wǎng)公網(wǎng)安備