亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python爬蟲 bilibili視頻彈幕提取過程詳解

系統(tǒng) 2570 0

兩個重要點

1.獲取彈幕的url是以 .xml 結(jié)尾

2.彈幕url的所需參數(shù)在視頻url響應(yīng)的 javascript 中

先看代碼

            
import requests
from lxml import etree
import re
# 使用手機UA
headers = {
  "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"
}
# 視頻url
video_url = "https://m.bilibili.com/video/av37834086.html"
html = requests.get(url=video_url, headers=headers).content.decode('utf-8')
# 獲取彈幕url的參數(shù)
cid = re.findall(r"comment: '//comment.bilibili.com/' \+ (.*?) \+ '.xml',", html)
url = "https://comment.bilibili.com/" + cid[0] + ".xml"
print(url)
response = requests.get(url, headers=headers)
html = response.content
xml = etree.HTML(html)
# 提取數(shù)據(jù)
str_list = xml.xpath("http://d/text()")
# 寫入文件
with open('bibi_xuxubaobao.txt', 'w', encoding='utf-8') as f:
  for line in str_list:
    f.write(line)
    f.write('\n')
          

先找到彈幕的url,以.xml結(jié)尾,所以先找到這串?dāng)?shù)字所在的位置,并獲取這串?dāng)?shù)字發(fā)起第二次請求

而這串?dāng)?shù)字就在 第一次請求的響應(yīng)的JavaScript中,可以通過 re 正則表達式進行提取

接下來的工作就是獲取彈幕url返回的所有彈幕數(shù)據(jù),然后對響應(yīng)進行數(shù)據(jù)處理。

代碼示例中使用的是 lxml 進行獲取。接著就是保存到個人本地文件中了

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!?。?/p>

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 亚洲日本一区二区三区 | 91在线手机精品免费观看 | 久久国产精品99久久久久久老狼 | 久久精品免视看国产明星 | 国产日韩综合 | 国内精品免费久久久久妲己 | 国产精品成人观看视频国产奇米 | 色综合久久最新中文字幕 | 91精彩视频在线观看 | 成人黄色在线免费观看 | 麻豆久久精品免费看国产 | 曰本一区 | 国产毛片视频 | 豆国产97在线 | 中国 | 亚洲欧美日韩中文字幕在线一区 | 久久草在线视频国产一 | 亚洲乱强伦| 国产精品视频不卡 | 欧美亚洲国产成人综合在线 | 91国内在线国内在线播放 | 在线播放波多野结衣 | 四虎国产成人免费观看 | 九九热伊人| 色中色综合网 | 奇米第四色首页 | 57pao一国产成视频永久免费 | 一级片在线观看视频 | 亚洲成人精品久久 | 天天久久综合网站 | 无遮挡无遮挡91桃色在线观看 | 日韩美女中文字幕 | 国产精品一区二区三区免费视频 | 国内精品影院久久久久 | 精品国精品国产自在久国产应用 | 国产图片综合区 | 最近中文字幕无吗免费视频 | 国产永久在线 | 久久这里只有免费精品6www | 狠狠操她 | 亚洲国产成人精品一区91 | 久久精品一区二区国产 |