基于概率的网页正文页抽取方案
背景：
需要抽取网页的正文页和列表页
?
分析：
1.同一类型的网页其变化的是内容，不变的是样式布局
2.解析dom tree，叶子节点为文本，那么深度遍历全树可以获取其文本值
3.变化的是内容不变的是样式布局，那么可以基于概率构造需要数据的xpath
思路：
1.获取所有节点的xpath，保存xpath和文本值
2.遍历n个同类型的网页获取满足某一概率的所有变化的xpath
3.基于xpath生成模板进行网页解析，其对应项通过人工干预方式获取
