下載圖片

下載圖片有兩種方式，一種是通過 Requests 模塊發(fā)送 get 請求下載，另一種是使用 Scrapy 的 ImagesPipeline 圖片管道類，這里主要講后者。

安裝 Scrapy 時并沒有安裝圖像處理依賴包 Pillow，需手動安裝否則運行爬蟲出錯。

首先在 settings.py 中設(shè)置圖片的存儲路徑：

IMAGES_STORE = 'D:/'

圖片處理相關(guān)的選項還有：

之前已經(jīng)存在提取內(nèi)容的 TuchongPipeline 類，如果使用 ImagePipeline 可以將提取內(nèi)容的操作都合并過來，但是為了更好的說明圖片管道的作用，我們再單獨創(chuàng)建一個 ImagePipeline 類，加到 pipelines.py 文件中，同時重載函數(shù) get_media_requests：

上篇文章中我們把圖片的URL保存在了 item['images'] 中，它是一個字典類型的數(shù)組，形如：[{img_id: img_url}, ...]，此函數(shù)中需要把 img_url 取出并構(gòu)建為 scrapy.Request 請求對象并返回，每一個請求都將觸發(fā)一次下載圖片的操作。

到 settings.py 中注冊 PhotoPipeline，并把優(yōu)先級設(shè)的比提取內(nèi)容的管道要高一些，保證圖片下載優(yōu)先于內(nèi)容處理，目的是如果有圖片下載未成功，通過觸發(fā) DropItem 異常可以中斷這一個 Item 的處理，防止不完整的數(shù)據(jù)進入下一管道：

執(zhí)行爬蟲 scrapy crawl photo ，如無錯誤，在設(shè)定的存儲目錄中會出現(xiàn)一個 full 目錄，里面是下載后的圖片。

文件名處理

下載的文件名是以圖片URL通過 sha1 編碼得到的字符，類似 0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg 不是太友好，可以通過重載 file_path 函數(shù)自定義文件名，比如可以這樣保留原文件名：

上面這樣處理難免會有重名的文件被覆蓋，但參數(shù) request 中沒有過多的信息，不便于對圖片分類，因此可以改為重載 item_completed 函數(shù)，在下載完成后對圖片進行分類操作。

函數(shù) item_completed 的定義：

參數(shù)中包含 item ，有我們抓取的所有信息，參數(shù) results 為下載圖片的結(jié)果數(shù)組，包含下載后的路徑以及是否成功下載，內(nèi)容如下：

重載該函數(shù)將下載圖片轉(zhuǎn)移到分類目錄中，同時關(guān)聯(lián)文件路徑到 item 中，保持內(nèi)容與圖片為一個整體：

接下來在原 TuchongPipeline 類中寫入數(shù)據(jù)庫的操作中，通過 item['image_paths'] 路徑信息寫入本地圖片鏈接。

除了 ImagesPipeline 處理圖片外，還有 FilesPipeline 可以處理文件，使用方法與圖片類似，事實上 ImagesPipeline 是 FilesPipeline 的子類，因為圖片也是文件的一種。