游標(biāo)查詢
scroll查詢,可以用于對(duì) Elasticsearch 有效地執(zhí)行大批量的文檔查詢,而又不用付出深度分頁(yè)那種代價(jià)。
scroll查詢可以分為以下兩個(gè)步驟。
啟動(dòng)游標(biāo)查詢
GET /host/_search?scroll=1m
其中的
scroll=1m
表示游標(biāo)查詢窗口保持1分鐘,如果一次取的數(shù)據(jù)量大可以設(shè)置為一個(gè)大一些的時(shí)間。
返回的字段中包含一個(gè)
scroll_id
, 接下來(lái)用這個(gè)字段可以獲取后續(xù)值。
循環(huán)獲取
循環(huán)獲取余下的值
GET /_search/scroll
{
"scroll": "1m",
"scroll_id" : scroll_id
}
通過(guò)上一步得到的
scroll_id
,獲取余下的值。
完整代碼
用Python獲取所有數(shù)據(jù)的完整代碼如下
def get_all_es_data(url):
# 過(guò)濾的query
query = {}
data = []
# 每次取的數(shù)據(jù)量
size = 10000
scroll_id = None
try:
while size == 10000:
if not scroll_id:
query["size"] = 10000
curr_url = url + '/_search?scroll=8m'
response = requests.post(curr_url, json.dumps(query), headers={'content-type': 'application/json'})
else:
curr_url = url + '_search/scroll?scroll=8m&scroll_id=' + scroll_id
response = requests.get(curr_url)
if response:
response = json.loads(response.text)
scroll_id = response['_scroll_id']
response_data = [doc["_source"] for doc in response['hits']['hits']]
data.extend(response_data)
except Exception as err:
pass
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號(hào)聯(lián)系: 360901061
您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
