本文實例講述了Python抓取某只基金歷史凈值數據。分享給大家供大家參考，具體如下：
http://fund.eastmoney.com/f10/jjjz_519961.html
1、接下來，我們需要動手把這些html抓取下來(這部分知識我們之前已經學過，現在不妨重溫)
# coding: utf-8
from selenium.webdriver.support.ui import WebDriverWait
from selenium import webdriver
from bs4 import BeautifulSoup
from threading import Thread,Lock
import os
import csv
# 下面是利用 selenium 抓取html頁面的代碼
# 初始化函數
def initSpider():
driver = webdriver.PhantomJS(executable_path=r"你phantomjs可執行文件的絕對路徑")
driver.get("http://fund.eastmoney.com/f10/jjjz_519961.html") # 要抓取的網頁地址
# 找到"下一頁"按鈕,就可以得到它前面的一個label,就是總頁數
getPage_text = driver.find_element_by_id("pagebar").find_element_by_xpath(
"div[@class='pagebtns']/label[text()='下一頁']/preceding-sibling::label[1]").get_attribute("innerHTML")
# 得到總共有多少頁
total_page = int("".join(filter(str.isdigit, getPage_text)))
# 返回
return (driver,total_page)
# 獲取html內容
def getData(myrange,driver,lock):
for x in myrange:
# 鎖住
lock.acquire()
tonum = driver.find_element_by_id("pagebar").find_element_by_xpath(
"div[@class='pagebtns']/input[@class='pnum']") # 得到 頁碼文本框
jumpbtn = driver.find_element_by_id("pagebar").find_element_by_xpath(
"div[@class='pagebtns']/input[@class='pgo']") # 跳轉到按鈕
tonum.clear() # 第x頁 輸入框
tonum.send_keys(str(x)) # 去第x頁
jumpbtn.click() # 點擊按鈕
# 抓取
WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pagebar").find_element_by_xpath("div[@class='pagebtns']/label[@value={0} and @class='cur']".format(x)) != None)
# 保存到項目中
with open("../htmls/details/{0}.txt".format(x), 'wb') as f:
f.write(driver.find_element_by_id("jztable").get_attribute("innerHTML").encode('utf-8'))
f.close()
# 解鎖
lock.release()
# 開始抓取函數
def beginSpider():
# 初始化爬蟲
(driver, total_page) = initSpider()
# 創建鎖
lock = Lock()
r = range(1, int(total_page)+1)
step = 10
range_list = [r[x:x + step] for x in range(0, len(r), step)] #把頁碼分段
thread_list = []
for r in range_list:
t = Thread(target=getData, args=(r,driver,lock))
thread_list.append(t)
t.start()
for t in thread_list:
t.join() # 這一步是需要的,等待線程全部執行完成
print("抓取完成")
# #################上面代碼就完成了 抓取遠程網站html內容并保存到項目中的 過程
需要說明一下這3個函數：
initSpider
函數，初始化了selenium的
webdriver
對象，并且先獲取到我們需要抓取頁面的總頁碼數。
getData
函數，有3個參數，myrange我們還是要分段抓取，之前我們學過多進程抓取，這里我們是多線程抓取；lock參數用來鎖住線程的，防止線程沖突；driver就是我們在
initSpider
函數中初始化的
webdriver
對象。
在
getData
函數中，我們循環myrange，把抓取到的html內容保存到了項目目錄中。
beginSpider
函數，我們在此函數中給總頁碼分段，并且創建線程，調用
getData
。
所以最后執行：
beginSpider()
就開始抓取 http://fund.eastmoney.com/f10/jjjz_519961.html 這個基金的”歷史凈值明細”，共有31個頁面。
2、根據已經學過的python和mysql交互的知識，我們也可以再把這些數據 寫入到數據表中。
這里就不再贅述，給出基金詳細表結構：
CREATE TABLE `fund_detail` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT,
`fcode` varchar(10) NOT NULL DEFAULT '' COMMENT '基金代碼',
`fdate` datetime DEFAULT NULL COMMENT '基金日期',
`NAV` decimal(10,4) DEFAULT NULL COMMENT '單位凈值',
`ACCNAV` decimal(10,4) DEFAULT NULL COMMENT '累計凈值',
`DGR` varchar(20) DEFAULT NULL COMMENT '日增長率',
`pstate` varchar(20) DEFAULT NULL COMMENT '申購狀態',
`rstate` varchar(20) DEFAULT NULL COMMENT '贖回狀態',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='基金詳細數據表';
更多關于Python相關內容可查看本站專題：《Python Socket編程技巧總結》、《Python正則表達式用法總結》、《Python數據結構與算法教程》、《Python函數使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設計有所幫助。
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
