百度谷歌的爬虫是用什么语言开发的?打算做个爬虫,感觉要抓取到数据容易,但要高效抓取大量网页数据还是非常困难的。你们的爬虫一小时能处理多少网页?百度谷歌的爬虫又能处理多少网页?[解决办法]我觉得应该是C吧,现在也有许多使用java来开发爬虫[解决办法]貌似这些爬虫可以把带宽跑满。关键是怎么调度爬虫吧,防止被封杀;以及怎么快速更新。[解决办法]linux下的C++