亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python制作爬蟲采集小說

系統 1761 0

開發工具:python3.4
操作系統:win8
主要功能:去指定小說網頁爬小說目錄,按章節保存到本地,并將爬過的網頁保存到本地配置文件。
被爬網站:http://www.cishuge.com/
小說名稱:靈棺夜行
代碼出處:本人親自碼的

            
import urllib.request
import http.cookiejar

import socket
import time
import re

timeout = 20
socket.setdefaulttimeout(timeout)

sleep_download_time = 10
time.sleep(sleep_download_time)
 
def makeMyOpener(head = {
 'Connection': 'Keep-Alive',
 'Accept': 'text/html, application/xhtml+xml, */*',
 'Accept-Language': 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',
 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko'
}):
 cj = http.cookiejar.CookieJar()
 opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
 header = []
 for key, value in head.items():
  elem = (key, value)
  header.append(elem)
 opener.addheaders = header
 return opener
 
def saveFile(save_path,txts):
 f_obj = open(save_path,'w+')
 for item in txts:
  f_obj.write(item+'\n')
 f_obj.close()
 
#get_code_list
code_list='http://www.cishuge.com/read/0/771/'
oper = makeMyOpener()
uop = oper.open(code_list,timeout=1000)
data = uop.read().decode('gbk','ignore')

pattern = re.compile('
            
  • (.*?)
  • ',re.S) items = re.findall(pattern,data) print ('獲取列表完成') url_path='url_file.txt' url_r=open(url_path,'r') url_arr=url_r.readlines(100000) url_r.close() print (len(url_arr)) url_file=open(url_path,'a') print ('獲取已下載網址') for tmp in items: save_path = tmp[1].replace(' ','')+'.txt' url = code_list+tmp[0] if url+'\n' in url_arr: continue print('寫日志:'+url+'\n') url_file.write(url+'\n') opene = makeMyOpener() op1 = opene.open(url,timeout=1000) data = op1.read().decode('gbk','ignore') opene.close() pattern = re.compile('????(.*?)
    ',re.S) txts = re.findall(pattern,data) saveFile(save_path,txts) url_file.close()

    雖然代碼還是有點瑕疵,還是分享給大家,一起改進


    更多文章、技術交流、商務合作、聯系博主

    微信掃碼或搜索:z360901061

    微信掃一掃加我為好友

    QQ號聯系: 360901061

    您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

    【本文對您有幫助就好】

    您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

    發表我的評論
    最新評論 總共0條評論
    主站蜘蛛池模板: 中文字幕免费在线观看 | 国产精品视频久久久久久 | 亚洲人成网站在线观看青青 | 欧美专区综合 | 成人毛片免费观看视频在线 | 久久视频国产 | 欧美啪啪毛片一区二区 | 天天天天色 | 国产一区二区在线播放 | 国产精品亚洲综合一区在线观看 | 亚洲精品99久久一区二区三区 | 国产精品久久久久久久午夜片 | 精品精品国产欧美在线观看 | 精品久久久一二三区 | 奇米网狠狠干 | 成年人国产视频 | 婷婷激情五月综合 | 中文字幕免费视频精品一 | 日韩成人小视频 | 欧美洲精品亚洲精品中文字幕 | 国产中文字幕亚洲 | 日韩一区二区不卡 | 免费一级片在线 | 久久成人国产 | 91伊人影院 | 九色综合网 | 男人猛躁女人成人免费视频 | 91在线视频在线 | 国产在线视频精品视频免费看 | 国产精品综合一区二区三区 | 久久天天躁夜夜躁狠狠85麻豆 | 久久天天躁夜夜躁2019 | 久久久久久亚洲精品不卡 | 99久久免费精品 | 国产萝控精品福利视频免费 | 久久99爰这里有精品国产 | 亚洲春色综合另类网蜜桃 | 久久www免费人成精品 | 欧美亚洲国产一区二区三区 | 看一级特黄a大片日本片 | 成年性午夜免费视频网站不卡 |