開發工具:python3.4
操作系統:win8
主要功能:去指定小說網頁爬小說目錄,按章節保存到本地,并將爬過的網頁保存到本地配置文件。
被爬網站:http://www.cishuge.com/
小說名稱:靈棺夜行
代碼出處:本人親自碼的
import urllib.request import http.cookiejar import socket import time import re timeout = 20 socket.setdefaulttimeout(timeout) sleep_download_time = 10 time.sleep(sleep_download_time) def makeMyOpener(head = { 'Connection': 'Keep-Alive', 'Accept': 'text/html, application/xhtml+xml, */*', 'Accept-Language': 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko' }): cj = http.cookiejar.CookieJar() opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj)) header = [] for key, value in head.items(): elem = (key, value) header.append(elem) opener.addheaders = header return opener def saveFile(save_path,txts): f_obj = open(save_path,'w+') for item in txts: f_obj.write(item+'\n') f_obj.close() #get_code_list code_list='http://www.cishuge.com/read/0/771/' oper = makeMyOpener() uop = oper.open(code_list,timeout=1000) data = uop.read().decode('gbk','ignore') pattern = re.compile('
',re.S) txts = re.findall(pattern,data) saveFile(save_path,txts) url_file.close()
雖然代碼還是有點瑕疵,還是分享給大家,一起改進
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
