搜索引擎和数据处理
拥有搜索引擎其实只是掌握互联网数据和信息的系统中的一个表层技术，通过互联网收集到的各种数据，关键是要找到一种能够对搜索引擎采集到的数据进行分类，分析，处理的智能化系统，这个技术的难度要大于搜索引擎。。。。。。。。。。。
基于开源软件的搜索引擎，采集网络数据的一个难点就是要收集到足够的网址数据库，除了政府的搜索系统能够从互联网管理部门获得最新的互联网网址数据库之外，我们这些搞开源的就没有办法获得最新的，最充分的网址数据库了，只好用手工来收集。。。
基于搜索引擎的数据处理系统，是一个比较庞大的东西，前端采集数据经过过滤，优化之后，要提交到后台的数据分类和处理模块中，现在正在完成这样的工程。。难度比较大。但是也还是要完成。有这个东西和没有这个东西，在今后的网络时代，特别是在大数据时代。。。。。就好像在工业时代，有没有火箭一样。。是事关生死的技术。。。。
在资金不足，资料匮乏，技术手段不够先进的情况下，单枪匹马的搞这样的系统，的确有点辛苦。但是我也乐在其中。。。
