爬东东的小结
最近我们（可以叫做公司）做一个社区型的区域性信息门户网站。
?
栏目比较多、杂，主要面向年轻人，所以**时尚，**教育培训，**趣闻等，内容性的东西一时还不够丰富，所以，就想办法去一些目标网站上爬东东，说白了，就字符串正则匹配、本地入库么。
?
下面小结下中间遇到的问题和解决方法：
?
工具：
H2 数据库（或Mysql **），自己熟悉，Java的，Java交互效率高；
Groovy，脚本么，好改撒；
HttpClient Commons工具包的，用作登陆用的；
PowerCMD，脚本组织么，这个Windows下的命令行工具很好用；
一个编辑器——***，***，Editplus——这个东东是我用Windows的80%的原因所在。
?
后俩纯属额外“广告”，小推荐一下么。
?
需求分析：
1. 文章型内容，做过**站的，多少都知道，数据库设计，就那几个表么，关键字段标题，时间之类的。所以查询出来显示一般一个列表，然后点击标题链接，到具体文章页面——So，查询出来的二维数据结果集，一般都遍历么，应该有个比较明显的begin和end。根据这个begin和end再加一个正则，就把那些关键字段信息，弄出来了。
?
2. 文章内容也如此。
?
过程步骤：
1. 目标URL列表，http://domain/urlpre/pagination_action/page_param么，俺还没做到deep > 1的多层爬取——不过这样，简单也好调试，不至于一次搞n个正则匹配的；
?
2. Download URL页面到本地（纯是为了后面的定时任务的时间核对准确，网速好的省了撒）；
?
3. 遍历URL到源码，根据begin和end找到List<[title, link, date]>，对应那个抽象的**_thread表的内容，然后遍历，正则，入库；
?
4. 根据一个文章对应的URL的源码，写一个能获取文章内容的Runnable，然后开个定时任务，update文章内容就是了；
?
5. 如果目标网站的内容获取，需要登录，那就用httpclient登陆后，获取cookie，然后再读取URL的流；
?
?
问题：
1. 网页编码——Groovy URL有个eachLine(encoding, Closure)的方法，很方便啊！！
?
2. 中文字符的正则匹配——这个一开始以为遇到bug了呢，不知道那些编码怎么搞的，一段字符串
中文</a>?
有时候硬是搞成了中??/a>，
.+<\/a>
就是匹配不了，后来google了下，用[^x00-xff]+或其他的才弄好——对编码了解皮毛——汗啊！
?
3. 重用性的设计
入库的表格结构，可以搞以下几列：
来源 正则匹配组1?正则匹配组2?正则匹配组3?正则匹配组4 *** 内容
?
一些数据库操作的弄成一个DAO
?
一个通用的表示一个目标网站的数据组织结构：
比如：
Map website1 = [des, beginUrl, paginationUrlList,
htmlListItemBegin, htmlListItemEnd, htmlListItemPat,
contentUrlPatGroup,
htmlContentBegin, htmlContentEnd, htmlContentPat,
spiderThreadNum, spiderThreadDelayInSeconds, spiderThreadPeriodInSeconds]
这样，写一个MySpider，一个方法，把上面的那个参数传进来，下面的就看日志和数据库的东东就好了
?
如果对方的URL组织比较麻烦，比如Content URL也是分页的，那就需要多写点针对性的代码
?
Web元素的download：
这个就没啥说的，正则，匹配那些图片之类的，download下来，然后用本地的文件路径replace掉
?
增量采集：
也没啥说的，开个定时任务，从beginUrl找到contentUrl列表，如果数据库已经存在的，continue就是了
?
我在自己一台笔记本和网络环境下，2s的Thread间距，弄下来1w个，还是很快的，一共（数据库，两三个任务进程）才100M不到内存，一下午加上调试，就把人家的积累的东东搞过来的——话说再加一个“伪原创”工具，就很BT了。
?
话说好多Website也不做这些反爬的，即便做了，用httpclient工具想必也差不多（Groovy有个HttpBuilder，包装了下），JE的新闻，我试了，貌似不成呢，呵呵！
?
代码就不献丑了，一点小心得，分享下！关注此方面的朋友，以后多多交流下，版权或侵权问题，到没仔细考虑过，555，不会因为这个闹官司吧
