首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 网站开发 > Web开发 >

不通过现有的搜索引擎,如何采集网址

2013-07-09 
不通过现有的搜索引擎,怎么采集网址?现在需要写个项目,需求每天都能够采集到十万左右不同的有效网站。不通

不通过现有的搜索引擎,怎么采集网址?
现在需要写个项目,需求每天都能够采集到十万左右不同的有效网站。
不通过现有的搜索引擎(原因是经常封IP),怎么采集网址?
搜索引擎是怎么一天找到几千万甚至几亿个网址的?

路过的大神们讨论下吧。了解这个技术的透露一下啊!不通过现有的搜索引擎,如何采集网址
[解决办法]
有一种叫“爬虫”之类的技术,具体也没做过,搜索下看,应该有示例的。
除了收集网站(址),一般还有收集邮箱、手机、QQ、电话等

热点排行