随想:迅速取得海量数据之结构化数据
呵呵,要想瞬间取得需要的数据,比如新闻信息,而且能够分门别类进行分析,我想是一件非常有意义的事情.而数据的来源只能来自于互联网,只有这样才有数据挖掘的研究基础.
而互联网上的数据一般为不规则的数据,但也有规则的数据;从目前我看到过的搜索引擎当中,基于内容的搜索引擎一般都采取定向收集的方式,然后分析后放入到数据库当中,其中不凡有数据清洗的工作.
规则的数据一般是以RSS为主的数据源,而不规则的数据采取定向收集的话,第一步就是抓取,然后通过模板,使用HtmlParse来进行分析,加入去重和数据清洗的功能,最后写入到数据库.当然,数据清洗也可能放到数据库后再做.
????? 这里,我就跟大家分享一下,抓取规则数据的一个过程,略加一些聚类的小菜.
入口:一般通过搜索引擎或者指点网页进入.如下是操作步骤:
1,打开http://g.cn,然后输入"新闻rss"进行查询,把你的搜索设置为每页为100条,这样是为了更容易的找到更多的结果,取得URL栏的地址:
http://www.google.com.hk/search?hl=zh-CN&newwindow=1&safe=strict&q=%E6%96%B0%E9%97%BBrss&revid=344741873&sa=X&ei=Ht3ITYqQF5GOvQO03NnjBQ&ved=0CJABENUCKAg
?
2,使用Crawler4j来抓取数据,哥使用100个线程来''霸占''网络, ,代码如下:
@Test public void crawByRss() throws Exception{ CrawlController controller = new CrawlController("/data/crawl/root"); controller.addSeed("http://www.google.com.hk/search?hl=zh-CN&newwindow=1&safe=strict&q=%E6%96%B0%E9%97%BBrss&revid=344741873&sa=X&ei=Ht3ITYqQF5GOvQO03NnjBQ&ved=0CJABENUCKAg"); controller.start(MyCrawler.class, 100); }?
? 3,在抓取的每一个网页时,使用正则表达式分析其中的xml的链接.如下:
public class MyCrawler extends WebCrawler { public boolean shouldVisit(WebURL url) { return true; } public void visit(Page page) { String url = page.getWebURL().getURL(); FileWriter fw1 = null; try { fw1 = new FileWriter("c:/today-rss"+"-20110509"+".txt", true); BufferedWriter bw1 = new BufferedWriter(fw1); bw1.write(printXml(page.getHTML())); bw1.close(); } catch (IOException e) { e.printStackTrace(); } try { fw1.close(); } catch (IOException e) { e.printStackTrace(); } List<WebURL> links = page.getURLs(); } private String printXml(String htmlStr){ String returnStr = ""; String urlsRegex="http://.*?\\.xml"; String urls; Matcher mt2=Pattern.compile(urlsRegex).matcher(htmlStr); while(mt2.find()) { urls=mt2.group().replaceAll("<a href=|>",""); returnStr += urls+"\r\n"; } return returnStr; }}?
? 通过上面的我们知道,分析的结果放在c:/today-rss-20110509.txt,这里的结果并没有去重和处理,有很多不符合条件的记录,比如:
http://www.google.com/ig/addtoreader?feedurl=http://blog.sina.com.cn/rss/1134880297.xmlhttp://img.feedsky.com/images/icon_subshot02_google.gif" /</A<BR /</P<P <wbr<A HREF="http://reader.youdao.com/b.do?keyfrom=feedsky&url=http://blog.sina.com.cn/rss/1286956544.xmlhttp://search.travel.sina.com.cn/api/wordmap.swf?xml=http://search.travel.sina.com.cn/api/flash_world.xml
?
? 4,整理这些数据,并把分析的结果放在新的文本文件当中,以便来抓取.去重的基本思路使用HashSet,速度很快.
@Test public void checkInRssToday() throws IOException { String filePath = basepath + "today-rss-20110509.txt"; String orgFilePath = "c:/today-rss" + "-20110509" + ".txt"; FileReader fr = new FileReader(orgFilePath); HashSet hashSet = new HashSet(); BufferedReader br = new BufferedReader(fr); String rssUrl = br.readLine(); int kk =0; while (rssUrl != null) { kk++; System.out.println("正在处理第"+kk+"行"); if (rssUrl.indexOf("?") != -1 || rssUrl.indexOf(""") != -1 || rssUrl.indexOf("\'") != -1){ rssUrl = br.readLine();// 从文件中继续读取一行数据 continue; } try { hashSet.add(rssUrl); } catch (Exception e) { rssUrl = br.readLine();// 从文件中继续读取一行数据 } rssUrl = br.readLine();// 从文件中继续读取一行数据 } Iterator ir = hashSet.iterator(); FileWriter fw1 = new FileWriter(filePath, true); BufferedWriter bw1 = new BufferedWriter(fw1); while (ir.hasNext()) { bw1.write(ir.next().toString().trim() + "\r\n "); } bw1.close(); fw1.close(); }?
?? 通过以上4步,我们在大约10分钟的时间里,可以取得831条有效结果,当然了,如果你的网速比我的快,你的机器比我好,哪应该超过这个数.
5,通过Rome来分析RSS的Title,然后模糊匹配分类,致于分类,大家可以通过新浪和搜狐的分类,然后来进行模糊匹配.
6.通过Rome来分析RSS,然后放在MongoDB,呵呵,海量的数据,我只信任MongoDB,超级鄙视Sql Server,
@Test public void getDataFromRss() throws IOException { String filePath = basepath + "today-rss" + "-20110509" + ".txt"; FileReader fr = new FileReader(filePath); BufferedReader br=new BufferedReader(fr); String rssUrl=br.readLine(); SyndFeedInput input = new SyndFeedInput(); while (rssUrl != null) { System.out.println("正在分析网站：" + rssUrl); try { SyndFeed feed = input.build(new XmlReader(new URL(rssUrl))); String descFeed = feed.getTitle(); List<SyndEntry> syndEntrys = feed.getEntries(); saveInDb(syndEntrys); } catch (Exception e) { rssUrl = br.readLine();// 从文件中继续读取一行数据 } rssUrl = br.readLine();// 从文件中继续读取一行数据 } br.close();//关闭BufferedReader对象 fr.close();//关闭文件 }?
?? 如上是基本的随想,在实际的开放当中,我想要涉及到的知识有:
灵活的调度基础
N多的线程池,N多的抓取服务,
增量抓取的技巧,
自动分类功能
数据挖掘之趋势分析,热点分析..........
做为一个懒人,我把刚刚拿到的数据,分析了最新的文本聚类,小Show一下,呵呵.
中美三轮(17) 标题为: 第三轮中美战略与经济对话今开启 主谈四大议题,ID为4dc8168a7ff6c7a8012be13e 标题为: 第三轮中美战略与经济对话今开幕 汇率仍唱重头戏,ID为4dc8168a7ff6c7a8012be137 标题为: 中美对话今日开幕 扩大投资成焦点话题,ID为4dc8168a7ff6c7a8012be13d 标题为: 第三轮中美战略与经济对话在华盛顿开幕,ID为4dc8168a7ff6c7a8012be0c9 标题为: 第三轮中美战略与经济对话在华盛顿开幕,ID为4dc8168a7ff6c7a8012be0ce 标题为: 第三轮中美战略与经济对话在华盛顿开幕,ID为4dc8168a7ff6c7a8012be0d1 标题为: 第三轮中美战略与经济对话开幕 汇率唱重头戏,ID为4dc816a87ff6c7a8012be917 标题为: 旺报 中美建构共同领导伙伴 此其时矣,ID为4dc819cf7ff6c7a8012c6338 标题为: BBC 第三轮中美战略经济对话即将展开,ID为4dc819cf7ff6c7a8012c633b 标题为: 中美将讨论促贸易投资合作 互利关系将深化,ID为4dc818d57ff6c7a8012c3748 标题为: 中美双方在汇率问题上已达成共识,ID为4dc818d57ff6c7a8012c3751 标题为: 瑞银高管：中美协商为全球治理提供好范式,ID为4dc818d57ff6c7a8012c375d 标题为: 中美直接投资成两国利益博弈的焦点,ID为4dc819d57ff6c7a8012c64a1 标题为: 高考第三轮复习你需要做什么？,ID为4dc81b7f7ff6c7a8012c9da2 标题为: 高考三轮复习三大环节保证提高生物分数(图),ID为4dc81b7f7ff6c7a8012c9db4 标题为: 旺报 中美建构共同领导伙伴 此其时矣,ID为4dc81b977ff6c7a8012c9ddb 标题为: BBC 第三轮中美战略经济对话即将展开,ID为4dc81b977ff6c7a8012c9dde -------------------------------------------母亲节(16) 标题为: 曾荫权网贺母亲节 忆儿时为母买鸭腿,ID为4dc819d57ff6c7a8012c637b 标题为: 给母亲,ID为4dc817027ff6c7a8012bf453 标题为: 母亲节温哥华订花减少 酒楼订位少3成,ID为4dc8179d7ff6c7a8012c0c8e 标题为: 中领馆庆母亲节慈恩洋溢,ID为4dc817ef7ff6c7a8012c1e19 标题为: 初一女生疑父亲有外遇在母亲节上吊自杀,ID为4dc818be7ff6c7a8012c3237 标题为: 普通人孝敬母亲的不同方式（组图）,ID为4dc818c97ff6c7a8012c33ee 标题为: 百名香港义工母亲节出发赴四川参与灾后重建,ID为4dc818d67ff6c7a8012c377f 标题为: 母亲节香港零售业卖气旺 商场生意增逾两成,ID为4dc818d67ff6c7a8012c3781 标题为: 母亲节 子女讲心又讲金,ID为4dc819d57ff6c7a8012c63d7 标题为: 以母亲节的名义加收10%服务费,ID为4dc819d57ff6c7a8012c63fa 标题为: 高墙内 向母亲下跪献花,ID为4dc819d57ff6c7a8012c6432 标题为: “感谢母亲把我从深渊边拉回”,ID为4dc819d57ff6c7a8012c6437 标题为: 母亲节 商家大打“亲情牌”,ID为4dc819d57ff6c7a8012c6439 标题为: 母亲的别样人生,ID为4dc819d57ff6c7a8012c6449 标题为: 母亲节，忧郁母亲坠楼身亡,ID为4dc819d57ff6c7a8012c64d3 标题为: 患癌母亲在母亲节病逝捐眼角膜 称要看女儿长大,ID为4dc81b767ff6c7a8012c9be2 -------------------------------------------预期,一致(13) 标题为: 一致预期：4月新增人民币贷款额6788.9亿元,ID为4dc8168a7ff6c7a8012be10b 标题为: 一致预期：4月PPI同比增速7.1%,ID为4dc8168a7ff6c7a8012be10e 标题为: 房产税百日冷场 全面推广预期加重,ID为4dc8168a7ff6c7a8012be158 标题为: 一致预期：4月份社会消费品零售总额同比增长17.4%,ID为4dc8168a7ff6c7a8012be0ed 标题为: 一致预期：4月份规模以上工业增加值同比增长14.6%,ID为4dc8168a7ff6c7a8012be0ef 标题为: 一致预期：4月贸易顺差28.9亿美元,ID为4dc8168a7ff6c7a8012be0f3 标题为: 一致预期：4月出口同比增速为28.8%,ID为4dc8168a7ff6c7a8012be0f4 标题为: 一致预期：4月进口同比增速为28.6%,ID为4dc8168a7ff6c7a8012be0fa 标题为: 一致预期：4月末M2同比增长16.6%,ID为4dc8168a7ff6c7a8012be104 标题为: 一致预期：4月CPI同比增速5.2%,ID为4dc8168a7ff6c7a8012be110 标题为: 一致预期：4月新增人民币贷款额6788.9亿元,ID为4dc8168a7ff6c7a8012be0ee 标题为: 一致预期：1-4月累计城镇固定资产投资同比增速24.7%,ID为4dc8168a7ff6c7a8012be0f0 标题为: 一致预期：4月末M1同比增长15%,ID为4dc8168a7ff6c7a8012be109 -------------------------------------------网络安全,海事(13) 标题为: 打好WEB服务器安全攻坚战,ID为4dc816817ff6c7a8012bdfbc 标题为: 希捷推网络存储路由器 可搭建家庭云,ID为4dc816ab7ff6c7a8012be95d 标题为: 打好WEB服务器安全攻坚战,ID为4dc816ab7ff6c7a8012be96b 标题为: 美媒 网络安全与海事分歧成美中对话焦点,ID为4dc819cf7ff6c7a8012c6339 标题为: 中美军方要谈网络安全和海事,ID为4dc817eb7ff6c7a8012c1c9b 标题为: [转载]做一个受人尊敬的网络直销人,ID为4dc817f17ff6c7a8012c1e34 标题为: 核电安全议题将纳入两岸第七次陈江会协商,ID为4dc819df7ff6c7a8012c67e4 标题为: 希捷推网络存储路由器 可搭建家庭云,ID为4dc81b367ff6c7a8012c90ba 标题为: 安全浏览器 SRWare Iron,ID为4dc81b737ff6c7a8012c9b1b 标题为: 美媒 网络安全与海事分歧成美中对话焦点,ID为4dc81b977ff6c7a8012c9ddc 标题为: 解读：夫妻网络巧调情更给力,ID为4dc81b9c7ff6c7a8012ca057 -------------------------------------------苹果,收购(13) 标题为: 北京苹果店外国人棒打排队者续：赔偿两万,ID为4dc816877ff6c7a8012be0b8 标题为: 苹果欲收购Nuance 开发语音识别引擎,ID为4dc816ab7ff6c7a8012be960 标题为: 北京苹果店外国人棒打排队者续：赔偿两万,ID为4dc817aa7ff6c7a8012c0e0a 标题为: 苹果程序店造就中国新企业家,ID为4dc817ef7ff6c7a8012c1e18 标题为: Nvidia以3.6亿美元收购手机芯片商Icera,ID为4dc819107ff6c7a8012c3c33 标题为: eBay即将提前完成对GSI收购,ID为4dc819107ff6c7a8012c3c36 标题为: 苹果店与被打者达成调解 负责人动粗赔两万,ID为4dc819647ff6c7a8012c5189 标题为: 英伟达公司收购基带和射频技术厂商Icera,ID为4dc819837ff6c7a8012c5a0d 标题为: Pcworld总结苹果iTunes十弊端:更新烦运行慢,ID为4dc819837ff6c7a8012c5a14 标题为: 苹果品牌价值1530亿，夺走谷歌的第一名位置,ID为4dc819837ff6c7a8012c5a19 标题为: 英特尔与ARM：谁能赢得苹果“芯”？,ID为4dc819837ff6c7a8012c5a2c 标题为: i7四核6750独显 苹果MBP新平台本13700,ID为4dc81ab97ff6c7a8012c7e13 标题为: 苹果欲收购Nuance 开发语音识别引擎,ID为4dc81b367ff6c7a8012c90bb
?
?? 哈哈,发现这样的价值很无穷,比如随时生成垃圾网站,哈哈,我想最好的是做google的新闻模块,当然了,有眼光的哥们也可以这样做相同的模块,做专题出来,肯定能胜过Google新闻!
?
?
1 楼 zhzhl202 2011-05-12 不错，前些日子我也也借助也百度、google搜索抓取数据，用的是htmlparser来解析搜索引擎的结果页，从而得到链接的。