首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > JAVA > Java Web开发 >

关于网络爬虫解决方案

2013-11-16 
关于网络爬虫web项目中需要大量数据,指导老师说用网络爬虫,但是在网上看了很多都不是很懂,求大神指点怎么

关于网络爬虫
web项目中需要大量数据,指导老师说用网络爬虫,但是在网上看了很多都不是很懂,求大神指点怎么使用,我需要一个旅游网站的景点图片,和文字信息,我应该怎样将爬下来的东西进行分类,为我所用? 网络爬虫
[解决办法]
固定网站好爬啊,用线程写个定时任务,任务周期自己设定。
- 通过java.net包下的工具类实现后台发送http请求以及获取响应内容。
- 分析其页面结构,找到符合自己的数据或者链接
- 将抓取下来的数据持久化
- 将上三部逻辑弄到TimerTask,用Timer调度,定期执行

热点排行