目標(biāo)是把騰訊新聞主頁上所有新聞爬取下來，獲得每一篇新聞的名稱、時(shí)間、來源以及正文。
接下來分解目標(biāo)，一步一步地做。
步驟1： 將主頁上所有鏈接爬取出來，寫到文件里。
python在獲取html方面十分方便，寥寥數(shù)行代碼就可以實(shí)現(xiàn)我們需要的功能。
???? page = urllib.urlopen(url)
???? html = page.read()
???? page.close()
???? return html
我們都知道html鏈接的標(biāo)簽是“a”，鏈接的屬性是“href”，也就是要獲得html中所有tag=a，attrs=href 值。
查閱了資料，一開始我打算用HTMLParser，而且也寫出來了。但是它有一個(gè)問題，就是遇到中文字符的時(shí)候無法處理。
?class parser(HTMLParser.HTMLParser):
???? def handle_starttag(self, tag, attrs):
???????????? if tag == 'a':
???????????? for attr, value in attrs:
???????????????? if attr == 'href':
???????????????????? print value
后來使用了SGMLParser，它就沒有這個(gè)問題。
class URLParser(SGMLParser):??????
??????? def reset(self):
??????????????? SGMLParser.reset(self)
??????????????? self.urls = []
?
??????? def start_a(self,attrs):???????
??????????????? href = [v for k,v in attrs if k=='href']?????????
??????????????? if href:
??????????????????????? self.urls.extend(href)
SGMLParser針對某個(gè)標(biāo)簽都需要重載它的函數(shù)，這里是把所有的鏈接放到該類的urls里。
lParser = URLParser()#分析器來的
socket = urllib.urlopen("http://news.qq.com/")#打開這個(gè)網(wǎng)頁
fout = file('urls.txt', 'w')#要把鏈接寫到這個(gè)文件里
lParser.feed(socket.read())#分析啦
reg = 'http://news.qq.com/a/.*'#這個(gè)是用來匹配符合條件的鏈接，使用正則表達(dá)式匹配
pattern = re.compile(reg)
for url in lParser.urls:#鏈接都存在urls里
??? if pattern.match(url):
??????? fout.write(url+'\n')
fout.close()
這樣子就把所有符合條件的鏈接都保存到urls.txt文件里了。
步驟2： 對于每一個(gè)鏈接，獲取它的網(wǎng)頁內(nèi)容。
很簡單，只需要打開urls.txt文件，一行一行地讀出來就可以了。
也許這里會(huì)顯得多此一舉，但是基于我對解耦的強(qiáng)烈愿望，我還是果斷地寫到文件里了。后面如果采用面向?qū)ο缶幊蹋貥?gòu)起來是十分方便的。
獲取網(wǎng)頁內(nèi)容部分也是相對簡單的，但是需要把網(wǎng)頁的內(nèi)容都保存到一個(gè)文件夾里。
這里有幾個(gè)新的用法：
os.getcwd()#獲得當(dāng)前文件夾路徑
os.path.sep#當(dāng)前系統(tǒng)路徑分隔符（是這個(gè)叫法嗎？）windows下是“\”，linux下是“/”
#判斷文件夾是否存在，如果不存在則新建一個(gè)文件夾
if os.path.exists('newsdir') == False:
??? os.makedirs('newsdir')
#str()用來將某個(gè)數(shù)字轉(zhuǎn)為字符串
i = 5
str(i)
有了這些方法，將字符串保存到某個(gè)文件夾下不同的文件就不再是一件困難的事了。
步驟3： 枚舉每一個(gè)網(wǎng)頁，根據(jù)正則匹配獲得目標(biāo)數(shù)據(jù)。
下面的方法是用來遍歷文件夾的。
?#這個(gè)是用來遍歷某個(gè)文件夾的
?for parent, dirnames, filenames in os.walk(dir):
???? for dirname in dirnames
???????? print parent, dirname
???? for filename in filenames:
???????? print parent, filename
遍歷，讀取，匹配，結(jié)果就出來了。
我使用的數(shù)據(jù)提取的正則表達(dá)式是這樣的：
reg = '
其實(shí)這個(gè)并不能匹配到騰訊網(wǎng)的所有新聞，因?yàn)樯厦娴男侣動(dòng)袃煞N格式，標(biāo)簽有一點(diǎn)差別，所以只能提取出一種。
另外一點(diǎn)就是通過正則表達(dá)式的提取肯定不是主流的提取方法，如果需要采集其他網(wǎng)站，就需要變更正則表達(dá)式，這可是一件比較麻煩的事情。
提取之后觀察可知，正文部分總是會(huì)參雜一些無關(guān)信息，比如“ ”“
”等等。所以我再通過正則表達(dá)式將正文切片。
def func(str):#誰起的這個(gè)名字
??? strs = re.split(" |
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯(lián)系： 360901061
您的支持是博主寫作最大的動(dòng)力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長非常感激您！手機(jī)微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
