亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Python中Scrapy爬蟲圖片處理詳解

系統(tǒng) 1628 0

下載圖片

下載圖片有兩種方式,一種是通過 Requests 模塊發(fā)送 get 請求下載,另一種是使用 Scrapy 的 ImagesPipeline 圖片管道類,這里主要講后者。

安裝 Scrapy 時并沒有安裝圖像處理依賴包 Pillow,需手動安裝否則運行爬蟲出錯。

首先在 settings.py 中設(shè)置圖片的存儲路徑:

IMAGES_STORE = 'D:/'

圖片處理相關(guān)的選項還有:

            
# 圖片最小高度和寬度設(shè)置,可以過濾太小的圖片
IMAGES_MIN_HEIGHT = 110
IMAGES_MIN_WIDTH = 110

# 生成縮略圖選項
IMAGES_THUMBS = {
 'small': (50, 50),
 'big': (270, 270),
}
          

之前已經(jīng)存在提取內(nèi)容的 TuchongPipeline 類,如果使用 ImagePipeline 可以將提取內(nèi)容的操作都合并過來,但是為了更好的說明圖片管道的作用,我們再單獨創(chuàng)建一個 ImagePipeline 類,加到 pipelines.py 文件中,同時重載函數(shù) get_media_requests:

            
class PhotoGalleryPipeline(object):
 ...

class PhotoPipeline(ImagesPipeline):
 def get_media_requests(self, item, info):
  for (id, url) in item['images'].items():
   yield scrapy.Request(url)
          

上篇文章中我們把圖片的URL保存在了 item['images'] 中,它是一個字典類型的數(shù)組,形如:[{img_id: img_url}, ...],此函數(shù)中需要把 img_url 取出并構(gòu)建為 scrapy.Request 請求對象并返回,每一個請求都將觸發(fā)一次下載圖片的操作。

到 settings.py 中注冊 PhotoPipeline,并把優(yōu)先級設(shè)的比提取內(nèi)容的管道要高一些,保證圖片下載優(yōu)先于內(nèi)容處理,目的是如果有圖片下載未成功,通過觸發(fā) DropItem 異常可以中斷這一個 Item 的處理,防止不完整的數(shù)據(jù)進入下一管道:

            
ITEM_PIPELINES = {
 'Toutiao.pipelines.PhotoGalleryPipeline': 300,
 'Toutiao.pipelines.PhotoPipeline': 200,
}
          

執(zhí)行爬蟲 scrapy crawl photo ,如無錯誤,在設(shè)定的存儲目錄中會出現(xiàn)一個 full 目錄,里面是下載后的圖片。

文件名處理

下載的文件名是以圖片URL通過 sha1 編碼得到的字符,類似 0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg 不是太友好,可以通過重載 file_path 函數(shù)自定義文件名,比如可以這樣保留原文件名:

            
...
 def file_path(self, request, response=None, info=None):
  file_name = request.url.split('/')[-1]
  return 'full/%s' % (file_name)
...
          

上面這樣處理難免會有重名的文件被覆蓋,但參數(shù) request 中沒有過多的信息,不便于對圖片分類,因此可以改為重載 item_completed 函數(shù),在下載完成后對圖片進行分類操作。

函數(shù) item_completed 的定義:

            
def item_completed(self, results, item, info)
          

參數(shù)中包含 item ,有我們抓取的所有信息,參數(shù) results 為下載圖片的結(jié)果數(shù)組,包含下載后的路徑以及是否成功下載,內(nèi)容如下:

            
[(True,
 {'checksum': '2b00042f7481c7b056c4b410d28f33cf',
 'path': 'full/0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg',
 'url': 'http://www.example.com/files/product1.pdf'}),
 (False,
 Failure(...))]
          

重載該函數(shù)將下載圖片轉(zhuǎn)移到分類目錄中,同時關(guān)聯(lián)文件路徑到 item 中,保持內(nèi)容與圖片為一個整體:

            
def item_completed(self, results, item, info):
 image_paths = {x['url'].split('/')[-1]: x['path'] for ok, x in results if ok}
 if not image_paths:
  # 下載失敗忽略該 Item 的后續(xù)處理
  raise DropItem("Item contains no files")
 else:
  # 將圖片轉(zhuǎn)移至以 post_id 為名的子目錄中
  for (dest, src) in image_paths.items():
   dir = settings.IMAGES_STORE
   newdir = dir + os.path.dirname(src) + '/' + item['post_id'] + '/'
   if not os.path.exists(newdir):
    os.makedirs(newdir)
   os.rename(dir + src, newdir + dest)
 # 將保存路徑保存于 item 中(image_paths 需要在 items.py 中定義)
 item['image_paths'] = image_paths
 return item
          

接下來在原 TuchongPipeline 類中寫入數(shù)據(jù)庫的操作中,通過 item['image_paths'] 路徑信息寫入本地圖片鏈接。

除了 ImagesPipeline 處理圖片外,還有 FilesPipeline 可以處理文件,使用方法與圖片類似,事實上 ImagesPipeline 是 FilesPipeline 的子類,因為圖片也是文件的一種。


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 日本一区毛片免费观看 | 久久综合九九 | 奇米网第四色 | 日韩天堂在线 | 国产精品99精品久久免费 | 亚洲男人的天堂久久香蕉 | 91亚洲欧美 | 久久久久久久影院 | 天天干天天草天天射 | 国产精品视频不卡 | 一区二区三区四区在线 | 国产不卡在线观看视频 | 国产精品不卡在线 | 色偷偷青青草原在线视频 | 中文字幕久久精品波多野结 | 成人激情开心网 | 欧美精品久久久久久久影视 | 欧美人猛交日本人xxx | 亚洲一二三 | 亚洲欧美日韩高清一区二区三区 | 国产成人精品综合久久久 | 国产精品亚洲片在线牛牛影视 | 尹人香蕉99久久综合网站 | 免费观看精品视频999 | 国产真实伦偷精品 | 99久久免费国产精品 | 本日黄色| 久久婷婷综合中文字幕 | 久久精品一区二区三区不卡牛牛 | 在线 | 一区二区三区四区 | 国产一级αv片免费观看 | 亚洲国产成人在线观看 | 亚欧中文字幕 | 国产一精品一aⅴ一免费 | 日韩毛片在线看 | 精品不卡一区中文字幕 | 奇米影音先锋 | 韩国日本一级毛片免费视频 | 人人澡人人干 | 日韩综合nv一区二区在线观看 | 欧美日韩中文在线 |