亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python elasticsearch環境搭建詳解

系統 1594 0

windows下載zip

linux下載tar

下載地址:https://www.elastic.co/downloads/elasticsearch

解壓后運行:bin/elasticsearch (or bin\elasticsearch.bat on Windows)

檢查是否成功:訪問 http://localhost:9200

linux下不能以root用戶運行,

普通用戶運行報錯:

java.nio.file.AccessDeniedException

原因:當前用戶沒有執行權限

解決方法: chown linux用戶名 elasticsearch安裝目錄 -R

例如:chown ealsticsearch /data/wwwroot/elasticsearch-6.2.4 -R

PS:其他Java軟件報.AccessDeniedException錯誤也可以同樣方式解決,給 執行用戶相應的目錄權限即可

2|0代碼實例

如下的代碼實現類似鏈家網小區搜索功能。

從文件讀取小區及地址信息寫入es,然后通過小區所在城市code及搜索關鍵字 匹配到對應小區。

代碼主要包含三部分內容:

1.創建索引

2.用bulk將批量數據存儲到es

3.數據搜索

注意:

代碼的es版本交低2.xx版本,高版本在創建的索引數據類型有所不同

            
#coding:utf8
from __future__ import unicode_literals
import os
import time
import config
from datetime import datetime
from elasticsearch import Elasticsearch
from elasticsearch.helpers import bulk

class ElasticSearch():
  def __init__(self, index_name,index_type,ip ="127.0.0.1"):
    '''
    :param index_name: 索引名稱
    :param index_type: 索引類型
    '''
    self.index_name =index_name
    self.index_type = index_type
    # 無用戶名密碼狀態
    #self.es = Elasticsearch([ip])
    #用戶名密碼狀態
    self.es = Elasticsearch([ip],http_auth=('elastic', 'password'),port=9200)
  def create_index(self,index_name="ftech360",index_type="community"):
    '''
    創建索引,創建索引名稱為ott,類型為ott_type的索引
    :param ex: Elasticsearch對象
    :return:
    '''
    #創建映射
    _index_mappings = {
      "mappings": {
        self.index_type: {
          "properties": {
            "city_code": {
              "type": "string",
              # "index": "not_analyzed"
            },
            "name": {
              "type": "string",
              # "index": "not_analyzed"
            },
            "address": {
              "type": "string",
              # "index": "not_analyzed"
            }
          }
        }

      }
    }
    if self.es.indices.exists(index=self.index_name) is True:
      self.es.indices.delete(index=self.index_name)
    res = self.es.indices.create(index=self.index_name, body=_index_mappings)
    print res

  def build_data_dict(self):
    name_dict = {}
    with open(os.path.join(config.datamining_dir,'data_output','house_community.dat')) as f:
      for line in f:
        line_list = line.decode('utf-8').split('\t')
        community_code = line_list[6]
        name = line_list[7]
        city_code = line_list[0]
        name_dict[community_code] = (name,city_code)

    address_dict = {}
    with open(os.path.join(config.datamining_dir,'data_output','house_community_detail.dat')) as f:
      for line in f:
        line_list = line.decode('utf-8').split('\t')
        community_code = line_list[6]
        address = line_list[10]
        address_dict[community_code] = address

    return name_dict,address_dict

  def bulk_index_data(self,name_dict,address_dict):
    '''
    用bulk將批量數據存儲到es
    :return:
    '''
    list_data = []
    for community_code, data in name_dict.items():
      tmp = {}
      tmp['code'] = community_code
      tmp['name'] = data[0]
      tmp['city_code'] = data[1]
      
      if community_code in address_dict:
        tmp['address'] = address_dict[community_code]
      else:
        tmp['address'] = ''

      list_data.append(tmp)
    ACTIONS = []
    for line in list_data:
      action = {
        "_index": self.index_name,
        "_type": self.index_type,
        "_id": line['code'], #_id 小區code
        "_source": {
          "city_code": line['city_code'],
          "name": line['name'],
          "address": line['address']
          }
      }
      ACTIONS.append(action)
      # 批量處理
    success, _ = bulk(self.es, ACTIONS, index=self.index_name, raise_on_error=True)
    #單條寫入 單條寫入速度很慢
    #self.es.index(index=self.index_name,doc_type="doc_type_test",body = action)

    print('Performed %d actions' % success)

  def delete_index_data(self,id):
    '''
    刪除索引中的一條
    :param id:
    :return:
    '''
    res = self.es.delete(index=self.index_name, doc_type=self.index_type, id=id)
    print res

  def get_data_id(self,id):
    res = self.es.get(index=self.index_name, doc_type=self.index_type,id=id)
    # # 輸出查詢到的結果
    print res['_source']['city_code'], res['_id'], res['_source']['name'], res['_source']['address']

  def get_data_by_body(self, name, city_code):
    # doc = {'query': {'match_all': {}}}
    doc = {
      "query": {
        "bool":{
          "filter":{
            "term":{
            "city_code": city_code
            }
          },
          "must":{
            "multi_match": {
              "query": name,
              "type":"phrase_prefix",
              "fields": ['name^3', 'address'],
              "slop":1,
              
              }

          }
        }
      }
    }
    _searched = self.es.search(index=self.index_name, doc_type=self.index_type, body=doc)
    data = _searched['hits']['hits']
    return data
     

if __name__=='__main__':
  #數據插入es
  obj = ElasticSearch("ftech360","community")
  obj.create_index()
  name_dict, address_dict = obj.build_data_dict()
  obj.bulk_index_data(name_dict,address_dict)

  #從es讀取數據
  obj2 = ElasticSearch("ftech360","community")
  obj2.get_data_by_body(u'保利','510100')
          

以上就是全部知識點內容,感謝大家的閱讀和對腳本之家的支持。


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 人人操天天射 | 亚洲日本综合 | 12至16末成年毛片 | 国产午夜永久福利视频在线观看 | 国产精品 视频一区 二区三区 | 一级特黄aaaaaa大片 | 老妇毛片 | 成人在线视频网 | 婷婷综合亚洲 | 精品亚洲欧美中文字幕在线看 | 60欧美老妇做爰视频 | 久久精品国产99国产精品亚洲 | 狠狠干人人插 | 毛片特级 | 精品国产日韩久久亚洲 | 欧美大黄大色一级毛片出红 | 日韩激情中文字幕一区二区 | 亚洲国产中文字幕在线观看 | 一区二区日韩欧美 | 成年视频xxxxxx在线 | 亚洲成人伊人网 | 国产精品原创巨作无遮挡 | 免费欧洲毛片a级视频老妇女 | 久久久久在线 | 欧美精品二区 | 日韩视频 中文字幕 视频一区 | 伊人久久大香线蕉亚洲 | 奇米777四色影视 | 澳门久久精品 | 久久a热6| 四虎影视库 | 亚洲黄网视频 | 中文在线观看视频 | 天天想夜夜操 | 精品牛牛影视久久精品 | xxxxbbbb欧美 | 91手机看片国产福利精品 | 久久99热精品免费观看k影院 | 亚洲国产成人久久综合一区77 | 久久lu| 日日私人影院 |