做搜索引擎易，做通用爬虫难！的确如此。就技术上实现的难度，大家觉得呢？注意：这里搜索引擎指索引和搜索部分，不包括数据采集部分。[解决办法]搜索引擎难，爬虫简单。[解决办法]我在补充通用spider需要注意的一些地方：效率，种子调度，垃圾去除，黑洞，信息抽取，除重，编码识别
