爬虫,爬取指定几个网站上面的天气预报信息 然后存入数据库,如何实现
利用爬虫,爬取指定几个网站上面的天气预报信息 然后存入数据库,如何实现
[解决办法]
先用HttClient之类的组件,模拟浏览器访问所指定网站的天气页面;
然后对所获取的HTML内容,借助HTML解析工具进行解析,以找到天气信息;当然也可以直接用正则表达式来直接用匹配的方式查找天气信息;
然后将天气信息组装成VO对象,存入数据库。
最后把上述程序做成定时任务就行了。
[解决办法]
你参考一下我的blog吧
http://blog.csdn.net/iisgirl/article/details/7519760
我是先登陆后爬取,你可以直接爬取网站的网页内容,不用登陆即可。
用html解析工具,如jsoup就已经很好实现了。
[解决办法]
用HttpParse,随便写个简单的就行。
只要目标网站版面格式不变就可以
[解决办法]