[Nutch]如何利用HTML頁面中meta元素?[鄭昀]
1:假如說你的站點頁面中有這么一句:
<META NAME="robots" CONTENT="index,follow">
你利用Nutch抓取并分析時,如何得到這個meta數值并處理呢?
2:你可以從HtmlParseFilter擴展出一個RobotsParserFilter,用下面的代碼得到meta值:
Properties generalMetaTags = metaTags.getGeneralTags();
String robots = generalMetaTags.getProperty("robots");
3:增加這個值到metadata中:
parse.getData().getMetadata().put("robots", robots);
4: robots屬性還可以再次從 metadata獲取:
String robots2 = parse.getData().get("robots");
Trackback: http://tb.blog.csdn.net/TrackBack.aspx?PostId=652774
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
