亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

python制作花瓣網美女圖片爬蟲

系統 1550 0

花瓣圖片的加載使用了延遲加載的技術,源代碼只能下載20多張圖片,修改后基本能下載所有的了,只是速度有點慢,后面再優化下

            
import urllib, urllib2, re, sys, os,requests
path=r"C:\wqa\beautify"
url = 'http://huaban.com/favorite/beauty'
#http://huaban.com/explore/zhongwenlogo/?ig1un9tq&max=327773629&limit=20&wfl=1
i_headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.71 Safari/537.36"}
count=0

def urlHandle(url):
  req = urllib2.Request(url, headers=i_headers)
  html = urllib2.urlopen(req).read()
  reg = re.compile(r'"pin_id":(\d+),.+?"file":{"farm":"farm1", "bucket":"hbimg",.+?"key":"(.*?)",.+?"type":"image/(.*?)"', re.S)
  groups = re.findall(reg, html)
  return groups

def imgHandle(groups):
  if groups:
    for att in groups:  
      pin_id = att[0]
      att_url = att[1] + '_fw236'
      img_type = att[2]
      img_url = 'http://img.hb.aicdn.com/' + att_url

      r = requests.get(img_url)
      with open(path + att_url + '.' + img_type, 'wb') as fd:
        for chunk in r.iter_content():
          fd.write(chunk)

groups = urlHandle(url)
imgHandle(groups)

while(groups):
  count+=1
  print count
  pin_id = groups[-1][0]
  print pin_id
  urltemp = url+'/?max=' + str(pin_id) + '&limit=' + str(20) + '&wfl=1'
  print(urltemp)
  groups = urlHandle(urltemp)
  #print groups
  imgHandle(groups)

          


更多文章、技術交流、商務合作、聯系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦?。?!

發表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 久久久99精品免费观看精品 | 精品国产成人系列 | 亚洲日本综合 | 99久久精品一区二区三区 | 成人a一级毛片免费看 | 99久久99久久 | 亚洲欧美精选 | 一级毛片一级毛片免费毛片 | 免费精品美女久久久久久久久 | 奇米第四色视频 | 麻豆久久婷婷综合五月国产 | 欧洲美女bbbxxxxxx| 伊人精品在线 | 久久精品国产欧美日韩亚洲 | 欧美高清在线视频在线99精品 | 亚洲欧美精品综合中文字幕 | 亚洲在线网站 | 成人a视频片在线观看免费 成人a视频在线观看 | 久久一日本道色综合久久 | 日本一级毛片aaaaa | 日本高清中文字幕 | 国产亚洲一区二区三区啪 | 伊人99综合 | 国产成人综合高清在线观看 | 91精品全国免费观看老司机 | 美女视频91 | 日本精品视频一视频高清 | 欧美天天性影院 | 国内精品自在自线视频香蕉 | 九九伊人网 | 小视频在线免费观看 | 美国毛片一级视频在线aa | 久久青草网站 | 精品国产一级毛片大全 | 国产特级毛片 | 色老头久久网 | 麻豆久久婷婷国产综合五月 | 波多野结衣一区二区 三区 波多野结衣一区二区三区 波多野结衣一区二区三区高清在线 | 久久久窝窝午夜精品 | 老妇综合久久香蕉蜜桃 | 咪咪爱在线观看 |