云计算实战 ——爬虫部分
第一部分： 需求分析
爬虫在项目中间的作用
? 分析用户的行为需要根据用户浏览网页的分类及特征来决定，所以获取网页内容需要爬虫
? 单线程爬虫难以满足项目的需求，需要多线程爬虫来处理
第二部分： 技术点
Wget与HttpClient
? Wget 是一个从网络上自动下载文件的自由工具 ， 支持通过 HTTP 、 HTTPS 、 FTP 三个最常见的 TCP/IP 协议下载，并可以使用 HTTP 代理
? HttpClient 是 Apache Jakarta Common 下的子项目，可以用来提供高效的、最新的、功能丰富的支持 HTTP 协议的客户端编程工具包，并且它支持 HTTP 协议最新的版本和建议
功能需求
? 分析网页内容取得词频
?
? 获取词与网页的对应关系
Page
第三部分： 代码实现
请参考视频和源码
私塾在线原创
