創(chuàng)建爬蟲目錄:
scrapy startproject spiderName
調試命令
scrapy shell 網(wǎng)站名
調試命令可直接進行 css 和 xpath 的調試;
成功執(zhí)行命令之后可使用:
response.xpath(xpath表達式)
獲取所需的內容。
xpath
說明:
XPath 是一門在 XML 文檔中查找信息的語言
表達式 | 描述 | 實例 |
---|---|---|
nodename | 選取nodename節(jié)點的所有子節(jié)點 | //div |
/ | 從根節(jié)點選取 | /div |
// | 不考慮位置選擇節(jié)點 | //div |
. | 選取當前節(jié)點 | ./div |
… | 選取當前節(jié)點的父節(jié)點 | … |
@ | 選取屬性 | //@class |
//[@] | 選取屬性的指定元素 | //dir[@class] |
./text() | 輸出文本 | //dir/text() |
備注:
注意 “//” 的使用,熟練使用 “//” 可減少大量觀察時間
更多文章、技術交流、商務合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯(lián)系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
