搜索引擎服务器配置
目前计划做一个垂直搜索引擎,功能基本上实现。但不知道服务器需要什么样的配置,这里请教下。
计划准备抓取30个网站,每个网站的数据更新都很快。我现在抓取了一下,大概一小时可以抓30M的网页。(垂直搜索引擎,所以是有目的抓取)
并且该垂直搜索引擎是行业性质的,同时在线在峰值2W左右。平常一般在8000左右。
用户访问有文件的上传,一般控制在15K左右。其他访问占用资源等就不大了。
我想租一个服务器,该服务器有一定的爬虫,大概每小时爬15M左右的数据,其他数据用个人PC去抓取。
所以这里想请问下该租个什么样配置的服务器比较合适。谢谢!
[解决办法]
网上说一般的这种搜索引擎,一开始ibm的p系列中型机就够用了吧!