亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python 爬取網(wǎng)易云音樂評(píng)論

系統(tǒng) 1615 0

網(wǎng)易云音樂的評(píng)論里總會(huì)有大批的神評(píng)論,突發(fā)靈感想寫個(gè)爬蟲爬取評(píng)論,后來發(fā)現(xiàn)百度的方法都需要AES加密的密鑰,太麻煩了,本人小白表示看不懂,在知乎上看到網(wǎng)易云有API接口可以直接爬取,不需要任何密鑰。具體代碼如下:

            
              # coding:utf-8
import re
import time
from urllib import request


class PL:
    def __init__(self):  # 定義初始信息
        # 定義http頭信息
        self.headers = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
                          "Chrome/55.0.2883.87 Safari/537.36",
            "referer": "http://music.163.com/song?id=4466775&market=baiduqk"
        }

    # 使用request打開api接口,獲取數(shù)據(jù)
    def single(self, song_id):
        offset = 0
        comment = []
        # 爬蟲爬35*28條評(píng)論
        for i in range(28):
            # api里limit對(duì)應(yīng)的是每頁多少條,offset對(duì)應(yīng)的是頁數(shù)
            single_url = 'http://music.163.com/api/v1/resource/comments/R_SO_4_'+str(song_id)+'?limit35&offset='+str(offset)
            offset += 35
            # requst訪問api接口獲取數(shù)據(jù)
            html_url = request.Request(url=single_url, headers=self.headers)
            html = request.urlopen(html_url)
            data = html.read()
            # 轉(zhuǎn)換獲取數(shù)據(jù)的格式為str
            str_data = data.decode()
            # 已"content":"為分隔符,分割獲取的字符串
            split_data = str_data.split('"content":"')
            # 循環(huán)處理所有字符
            for i in split_data:
                data_split = i.split('","')
                if data_split[0] not in comment:
                    comment.append(data_split[0])
            pl = open(r'C:\Users\liushipeng\Documents\pl.txt', 'a+')
            # 由于評(píng)論里有些表情字符無法儲(chǔ)存到文本里,刪除所有無法處理的字符,方法比較笨
            for i in comment:
                try:
                    pl.write(i + '\n')
                except Exception as error:
                    data = self.error_gbk(error, i)
                    try:
                        pl.write(data + '\n')
                    except Exception as error:
                        data1 = self.error_gbk(error, data)
                        try:
                            pl.write(data1 + '\n')
                        except Exception as error:
                            data2 = self.error_gbk(error, data1)
                            try:
                                pl.write(data2 + '\n')
                            except:
                                pass
            time.sleep(2)
            pl.close()

    # 清除寫入文本里時(shí)報(bào)錯(cuò)的字符
    def error_gbk(self, error, content):
        u = str(error).split(" '")
        u_error = str(u[1]).split("' ")
        result = re.sub(u_error[0], '', content)
        return result


if __name__ == '__main__':
    # 通過歌曲id來訪問歌曲對(duì)應(yīng)的API接口
    song_id = '1365221826'
    p = PL()
    p.single(song_id)

            
          

?


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長非常感激您!手機(jī)微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會(huì)非常 感謝您的哦?。?!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論
主站蜘蛛池模板: 精品久久久久久久一区二区手机版 | 久久综合亚洲一区二区三区 | 久久亚洲国产午夜精品理论片 | 毛片色毛片18毛片美女 | 97色在线播放 | 亚洲a成人7777777久久 | 久久久综合网 | 国产一级高清 | 操操操干干 | 国产偷国产偷亚洲高清在线 | 亚洲精品6久久久久中文字幕 | 免费特黄一级欧美大片在线看 | 女人18毛片特级一级免费视频 | 真实国语对白视频播放 | 天堂一区二区三区在线观看 | 四虎成人4hutv影院 | 色婷婷精品大视频在线蜜桃视频 | 河南毛片| 色综合天天综合网亚洲 | 中文字幕日韩一区二区三区不 | 91资源在线播放 | 四虎影视www | 亚洲欧美人成人让影院 | 又黑又粗又硬欧美视频在线观看 | 国产区综合另类亚洲欧美 | 理论片 我不卡影院 | 伊人久久精品线影院 | 欧美一区二区日韩一区二区 | 亚洲精品一区久久狠狠欧美 | 国产人成久久久精品 | 四虎影院中文字幕 | 欧洲一区在线观看 | 看全色黄大色大片免费久黄久 | 国产一区二区精品久久小说 | 国产男女猛视频在线观看网站 | 一级色 | 国产在线19禁免费观看国产 | 久久久免费精品视频 | 伊人久久精品午夜 | 成人精品一区二区三区校园激情 | 久久久久99精品成人片三人毛片 |