百度谷歌的爬虫是用什么语言开发的？打算做个爬虫，感觉要抓取到数据容易，但要高效抓取大量网页数据还是非常困难的。你们的爬虫一小时能处理多少网页？百度谷歌的爬虫又能处理多少网页？[解决办法]我觉得应该是C吧，现在也有许多使用java来开发爬虫[解决办法]貌似这些爬虫可以把带宽跑满。关键是怎么调度爬虫吧，防止被封杀；以及怎么快速更新。[解决办法]linux下的C++
