之前在公司做一個項目，項目需求是按照標(biāo)簽分類，去不同網(wǎng)站上爬取文章的內(nèi)容，標(biāo)題等。然后我就一個網(wǎng)站一個網(wǎng)站的去配xpath，可是網(wǎng)站特別多的時候，領(lǐng)導(dǎo)就會對我提出一個需求能不能，寫一種程序然后用來解析所有的網(wǎng)站，也就是智能化解析。這對我一個剛剛做爬蟲不久的新手就是很頭疼了。于是各種網(wǎng)上找資料，于是發(fā)現(xiàn)了DIFFBOT這個東西。官網(wǎng)https://www.diffbot.com，注冊后會有15天的免費(fèi)使用的時間。注冊后會發(fā)郵件給你一個token,通過token可以配置API請求然后獲取json數(shù)據(jù)，代碼示例：

            
              import requests, json

url = 'https://api.diffbot.com/v3/article'
params = {
    'token': 'your token', # 這里填寫自己的token值
    'url': 'https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_9516827704589093644%22%7D&n_type=0&p_from=1',
    'fields': 'meta'
}
response = requests.get(url, params=params)
print(json.dumps(response.json(), indent=2, ensure_ascii=False))

            
          

結(jié)果會獲得一個json串


響應(yīng)參數(shù)的一些說明：


如果說公司業(yè)務(wù)有這方面需求，但是自己卻實現(xiàn)不了這種技術(shù)的，我覺得可以嘗試使用，如果不需要，就當(dāng)作一種了解。以后也可往人工智能的方向發(fā)展。謝謝瀏覽！有什么問題歡迎留言關(guān)注！