亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python 用scroll查詢大量es數(shù)據(jù)

系統(tǒng) 3199 0

游標(biāo)查詢

          
            scroll查詢,可以用于對(duì) Elasticsearch 有效地執(zhí)行大批量的文檔查詢,而又不用付出深度分頁(yè)那種代價(jià)。
scroll查詢可以分為以下兩個(gè)步驟。


          
        

啟動(dòng)游標(biāo)查詢

          
            GET /host/_search?scroll=1m
          
        

其中的 scroll=1m 表示游標(biāo)查詢窗口保持1分鐘,如果一次取的數(shù)據(jù)量大可以設(shè)置為一個(gè)大一些的時(shí)間。
返回的字段中包含一個(gè) scroll_id , 接下來(lái)用這個(gè)字段可以獲取后續(xù)值。

循環(huán)獲取

循環(huán)獲取余下的值

          
            GET /_search/scroll
{
    "scroll": "1m", 
    "scroll_id" : scroll_id
}
          
        

通過(guò)上一步得到的 scroll_id ,獲取余下的值。

完整代碼

用Python獲取所有數(shù)據(jù)的完整代碼如下

          
            def get_all_es_data(url):
    # 過(guò)濾的query
    query = {}
    data = []
    # 每次取的數(shù)據(jù)量
    size = 10000
    scroll_id = None
    try:
        while size == 10000:
            if not scroll_id:
                query["size"] = 10000
                curr_url = url + '/_search?scroll=8m'
                response = requests.post(curr_url, json.dumps(query), headers={'content-type': 'application/json'})
            else:
                curr_url = url + '_search/scroll?scroll=8m&scroll_id=' + scroll_id
                response = requests.get(curr_url)
            if response:
                response = json.loads(response.text)
                scroll_id = response['_scroll_id']
                response_data = [doc["_source"] for doc in response['hits']['hits']]
                data.extend(response_data)
    except Exception as err:
        pass
          
        

更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長(zhǎng)會(huì)非常 感謝您的哦!!!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論
主站蜘蛛池模板: 日韩一区二区三区在线视频 | 91热在线观看精品 | www.久久久 | 久久99热久久精品在线6 | 国产大片免费观看中文字幕 | 中文在线视频 | 久久精品国产一区二区三区不卡 | 色综合色狠狠天天综合色hd | 亚洲天码中文字幕第一页 | 2021久久精品国产99国产 | 成人深夜视频 | 国国产自国偷自产第38页 | 亚洲欧洲精品成人久久曰 | 亚洲黄色a级片 | 日本α级毛片视频免费观看 | 久热精品免费视频 | 国产l精品国产亚洲区久久 国产l精品国产亚洲区在线观看 | 国产精品久久久久久 | 亚洲一区二区三区一品精 | 日本一级特级毛片视频 | 欧美成人免费xxx大片 | 国产精品香蕉成人网在线观看 | 欧美日韩一级黄色片 | 天天操天天摸天天碰 | 日本成本人观看免费视频fc2 | 国产成人小视频在线观看 | 九九热九九 | 在线精品中文字幕福利视频 | 精品一久久香蕉国产线看观看下 | 天天干天天干天天 | 亚洲无线码一区在线观看 | 麻豆国产精品视频 | 日韩精品一区二区三区高清 | 亚洲欧美在线精品一区二区 | 日韩色在线 | 最新亚洲精品国自产在线观看 | 久久激情五月 | 国产精品一国产精品免费 | 欧美激情一区二区三级高清视频 | 91伦理视频 | 9re视频这里只有精品 |