使用ES做搜索引擎拉取數據的時候，如果數據量太大，通過傳統的from + size的方式并不能獲取所有的數據（默認最大記錄數10000），因為隨著頁數的增加，會消耗大量的內存，導致ES集群不穩定。因此延伸出了scroll，search_after等翻頁方式。

一、from + size 淺分頁

'淺'分頁可以理解為簡單意義上的分頁。它的原理很簡單，就是查詢前20條數據，然后截斷前10條，只返回10-20的數據。這樣其實白白浪費了前10條的查詢。

GET test/_search{ 'query': { 'bool': { 'filter': [ { 'term': { 'age': 28 } } ] } }, 'size': 10, 'from': 20, 'sort': [ { 'timestamp': { 'order': 'desc' }, '_id': { 'order': 'desc' } } ]}

from定義了目標數據的偏移值，size定義當前返回的數目。默認from為0，size為10，即所有的查詢默認僅僅返回前10條數據。

在這里有必要了解一下from/size的原理：因為es是基于分片的，假設有5個分片，from=100，size=10。則會根據排序規則從5個分片中各取回100條數據數據，然后匯總成500條數據后選擇最后面的10條數據。

做過測試，越往后的分頁，執行的效率越低。總體上會隨著from的增加，消耗時間也會增加。而且數據量越大，就越明顯！

二、scroll 深分頁

from+size查詢在10000-50000條數據（1000到5000頁）以內的時候還是可以的，但是如果數據過多的話，就會出現深分頁問題。為了解決上面的問題，elasticsearch提出了一個scroll滾動的方式。scroll 類似于sql中的cursor，使用scroll，每次只能獲取一頁的內容，然后會返回一個scroll_id。根據返回的這個scroll_id可以不斷地獲取下一頁的內容，所以scroll并不適用于有跳頁的情景。

# -*- coding: utf-8 -*-# @Time : # @Author : from elasticsearch import Elasticsearch es = Elasticsearch(hosts='ip:9200', timeout=20, max_retries=10, retry_on_timeout=True) # Elasticsearch 需要保持搜索的上下文環境多久 游標查詢過期時間為10分鐘(10m)page = es.search( index='source_keyword_message', doc_type='source_keyword_message', scroll=’10m’, size=100, body={ 'query': {'match_all': {}}, } )# 游標用于輸出es查詢出的所有結果sid = page[’_scroll_id’]# es查詢出的結果總量scroll_size = page[’hits’][’total’]# es查詢出的結果第一頁datas = page.get(’hits’).get(’hits’) while (scroll_size > 0): page = es.scroll(scroll_id=sid, scroll=’5m’) sid = page[’_scroll_id’] scroll_size = len(page[’hits’][’hits’]) datas = page.get(’hits’).get(’hits’) scroll=5m表示設置scroll_id保留5分鐘可用。 使用scroll必須要將from設置為0。默認0 size決定后面每次調用_search搜索返回的數量

三、search_after 深分頁

scroll 的方式，官方的建議不用于實時的請求（一般用于數據導出），因為每一個 scroll_id 不僅會占用大量的資源，而且會生成歷史快照，對于數據的變更不會反映到快照上。

search_after 分頁的方式是根據上一頁的最后一條數據來確定下一頁的位置，同時在分頁請求的過程中，如果有索引數據的增刪改查，這些變更也會實時的反映到游標上。但是需要注意，因為每一頁的數據依賴于上一頁最后一條數據，所以無法跳頁請求。

為了找到每一頁最后一條數據，每個文檔必須有一個全局唯一值，官方推薦使用 _uid 作為全局唯一值，其實使用業務層的 id 也可以。

GET test/_search{ 'query': { 'bool': { 'filter': [ { 'term': { 'age': 28 } } ] } }, 'size': 20, 'from': 0, 'sort': [ { 'timestamp': { 'order': 'desc' }, '_id': { 'order': 'desc' } } ]} 使用search_after必須要設置from=0。 這里我使用timestamp和_id作為唯一值排序。 我們在返回的最后一條數據里拿到sort屬性的值傳入到search_after。

使用sort返回的值搜索下一頁：

GET test/_search{ 'query': { 'bool': { 'filter': [ { 'term': { 'age': 28 } } ] } }, 'size': 10, 'from': 0, 'search_after': [ 1541495312521, 'd0xH6GYBBtbwbQSP0j1A' ], 'sort': [ { 'timestamp': { 'order': 'desc' }, '_id': { 'order': 'desc' } } ]}

到此這篇關于python 使用elasticsearch 實現翻頁的三種方式的文章就介紹到這了,更多相關python elasticsearch 翻頁內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網！