自动抽取新闻网页中的主要内容
? 抽取网页中的主要内容，是文本挖掘预处理中一个很头疼的问题。但是现在一切都不是问题。
?? ??? ???? String? content = ArticleExtractor.INSTANCE.getText(new URL("https://www.google.com.hk/#newwindow=1&q=restlet+java.net.socketexception+broken+pipe&safe=active"));
?? ??? ??? ?System.out.println(content);
??? 本人试过各大新闻网站，和论坛网站。都没有问题滴将网页的内容中主要部分抽取出来。也可以将网页下载下来。使用如下方法处理本地文件，当然也可以处理HDFS文件。
?
????????????????? FileReader? reader? =new FileReader(new File("test.html"));
?? ??? ??? ??? ?String cont =ArticleExtractor.INSTANCE.getText(reader);
?? ??? ??? ??? ?System.out.println(cont);
?
?
可以试试哦 ：http://code.google.com/p/boilerpipe/
