亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python 微信爬蟲完整實例【單線程與多線程】

系統 1933 0

本文實例講述了Python 實現的微信爬蟲。分享給大家供大家參考,具體如下:

單線程版:

            
import urllib.request
import urllib.parse
import urllib.error
import re,time
headers = ("User-Agent",
      "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3107.4 Safari/537.36")
operner = urllib.request.build_opener()
operner.addheaders = [headers]
urllib.request.install_opener(operner)
list_url = []
###使用代理獲取網頁url內容
def use_proxy(url):
  try:
    # proxy = urllib.request.ProxyHandler({'http':proxy_addr})    ##使用代理版
    # operner = urllib.request.build_opener()
    # urllib.request.install_opener(operner)
    headers = ("User-Agent",
          "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3107.4 Safari/537.36")
    operner = urllib.request.build_opener()
    operner.addheaders = [headers]
    urllib.request.install_opener(operner)
    data = urllib.request.urlopen(url).read().decode('utf-8')
    # print (data)
    return data
  except urllib.error.URLError as e:
    if hasattr(e, "code"):
      print(e.code)
    elif hasattr(e, "reason"):
      print(e.reason)
  except Exception as e:
    print("exception" + str(e))
    time.sleep(1)
##獲取要爬取的url
def get_url(key, pagestart, pageend):
  try:
    keycode = urllib.parse.quote(key)
    for page in range(pagestart, pageend + 1):
      url = "http://weixin.sogou.com/weixin?query=%s&_sug_type_=&s_from=input&_sug_=n&type=%d&page=1&ie=utf8" % (
      keycode, page)
      data1 = use_proxy(url)
      #print("data1的內容是", data1)
      listurl_pattern = '
            

.*?("http://.*?)

' result = re.compile(listurl_pattern, re.S).findall(data1) for i in range(len(result)): res = result[i].replace("amp;", "").split(" ")[0].replace("\"", "") list_url.append(res) #print(list_url) return list_url except urllib.error.URLError as e: if hasattr(e, "code"): print(e.code) elif hasattr(e, "reason"): print(e.reason) except Exception as e: print("exception:", e) ##通過獲取的url爬行內容數據并處理 def get_url_content(list_url): fh1=open("D:\\python-script\\1.html", 'wb') html1 = '''\n\n\n \n 微信文章 \n''' fh1.write(html1.encode("utf-8")) fh1.close() fh = open("D:\\python-script\\1.html", 'ab') for url in list_url: data_content = use_proxy(url) #print (data_content) #sys.exit() title_pattern = ' .*?' result_title = re.compile(title_pattern, re.S).findall(data_content) ##標題(str) res_title = result_title[0].replace("

", "").replace("

", "").strip() content_pattern = 'id="js_content">(.*?)
' content = re.compile(content_pattern, re.S).findall(data_content) try: fh.write(res_title.encode("utf-8")) for i in content: fh.write(i.strip().encode("utf-8")) except UnicodeEncodeError as e: continue fh.write("".encode("utf-8")) if __name__ == '__main__': pagestart = 1 pageend = 2 key = "人工智能" get_url(key, pagestart, pageend) get_url_content(list_url)

多線程版:

            
import urllib.request
import urllib.parse
import urllib.error
import re,time
import queue
import threading
headers = ("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3107.4 Safari/537.36")
operner = urllib.request.build_opener()
operner.addheaders = [headers]
urllib.request.install_opener(operner)
urlque = queue.Queue()
list_url = []
###使用代理獲取網頁url內容
def use_proxy(url):
  try:
    # proxy = urllib.request.ProxyHandler({'http':proxy_addr})
    # operner = urllib.request.build_opener()
    # urllib.request.install_opener(operner)
    headers = ("User-Agent",
          "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3107.4 Safari/537.36")
    operner = urllib.request.build_opener()
    operner.addheaders = [headers]
    urllib.request.install_opener(operner)
    data = urllib.request.urlopen(url).read().decode('utf-8')
    #print (data)
    return data
  except urllib.error.URLError as e:
    if hasattr(e,"code"):
      print (e.code)
    elif hasattr(e,"reason"):
      print (e.reason)
  except Exception as e:
    print ("exception"+str(e))
    time.sleep(1)
###獲取文章的url連接,并將連接加入到隊列
class get_url(threading.Thread):
  def __init__(self,key,pagestart,pageend,urlque):
    threading.Thread.__init__(self)
    self.pagestart = pagestart
    self.pageend = pageend
    self.key = key
    self.urlque = urlque
  def run(self):
    try:
      keycode = urllib.parse.quote(self.key)
      for page in range(self.pagestart,self.pageend+1):
        url = "http://weixin.sogou.com/weixin?query=%s&_sug_type_=&s_from=input&_sug_=n&type=%d&page=1&ie=utf8" % (keycode,page)
        data = use_proxy(url)
        print ("data1的內容是",data)
        listurl_pattern = '
            

.*?("http://.*?)

' result = re.compile(listurl_pattern,re.S).findall(data) print (result) if len(result) == 0: print ("沒有可用的url") sys.exit() for i in range(len(result)): res = result[i].replace("amp;","").split(" ")[0].replace("\"" ,"") #list_url.append(res) #加入列表 self.urlque.put(res) ##加入隊列 self.urlque.task_done() #return list_url except urllib.error.URLError as e: if hasattr(e, "code"): print(e.code) elif hasattr(e, "reason"): print(e.reason) except Exception as e: print ("exception:",e) ##根據url獲取文章內容 class get_url_content(threading.Thread): def __init__(self,urlque): threading.Thread.__init__(self) self.urlque = urlque def run(self): fh1 = open("D:\\python-script\\1.html", 'wb') html1 = '''\n\n\n \n 微信文章 \n''' fh1.write(html1.encode("utf-8")) fh1.close() fh = open("D:\\python-script\\1.html", 'ab') while True: try: url = self.urlque.get() data_content = use_proxy(url) title_pattern = ' .*?' result_title = re.compile(title_pattern, re.S).findall(data_content) ##標題 res_title = result_title[0].replace("

", "").replace("

","").strip() content_pattern = 'id="js_content">(.*?)
' content = re.compile(content_pattern, re.S).findall(data_content) #c = '

' # for i in content: # ##內容 # c_content=i.replace(c, "").replace("

", "").replace("

", "") fh.write(res_title.encode("utf-8")) for i in content: fh.write(i.strip().encode("utf-8")) except UnicodeEncodeError as e: continue fh.close() class contrl(threading.Thread): def __init__(self,urlqueue): threading.Thread.__init__(self) self.urlqueue = urlqueue while True: print ("程序正在執行") if self.urlqueue.empty(): time.sleep(3) print ("程序執行完畢") exit() if __name__ == '__main__': pagestart = 1 pageend = 2 key = "人工智能" get_url = get_url(key,pagestart,pageend,urlque) get_url.start() get_content = get_url_content(urlque) get_content.start() cntrol = contrl(urlque) cntrol.start()

更多關于Python相關內容可查看本站專題:《Python Socket編程技巧總結》、《Python正則表達式用法總結》、《Python數據結構與算法教程》、《Python函數使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對大家Python程序設計有所幫助。


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦?。?!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 大色香蕉色视频大全 | 久久99精品久久久久久久不卡 | 伊人久久在线视频 | 97免费视频在线 | 奇米四色在线视频 | 色视频欧美 | 午夜在线视频一区二区三区 | 四虎影视884a精品国产四虎 | 久热国产在线视频 | 日本不卡影院 | 青青青视频精品中文字幕 | 免费久久 | 狠狠躁夜夜躁人人爽天天不 | 久久综合免费视频 | 丁香婷婷成人 | 久久爆操 | 天天干天天草天天 | 按摩理论片| 夜夜爱夜夜操 | www色午夜| 中文在线视频 | 色啦啦在线观看 | 人人狠狠综合久久亚洲 | 成人国产精品免费视频 | 狠狠的操你 | 久久一区二区三区精品 | 中文字幕在线观看免费视频 | 牛牛精品| 一级毛片私人影院老司机 | 手机看片国产 | 欧美性视频xxxxxxxx | 97免费观看 | 91热久久免费频精品黑人99 | 在线免费不卡视频 | 天天操天天干天天射 | 色香欲综合成人免费视频 | 天天躁日日躁狠狠躁中文字幕 | h视频国产| 久久香蕉国产线看精品 | 久久亚洲人成国产精品 | 四虎综合九九色九九综合色 |