wpo另类问题：不可轻视的蜘蛛爬行对服务器造成的负担
?
在前面文章中有提到
《对照“BlueDavy的网站架构演变”说说外贸B2C网站实际应用》提到，比较大的China-Based?外贸B2C网站，一天的访客数量大约是10～100万。
有位iteye的朋友询问：10万是独立IP？ 否则光算pageview还是挺小的。
实际上，10万只是指普通访客的IP，没有包括各种搜索蜘蛛的访问，搜索蜘蛛的访问频率很高，往往是数倍、甚至数十倍于访客IP数。这是外贸B2C网站和其他网站有些不同，网站做了很多动态转静态的搜索优化。一个有3万产品的B2C，页面总数量可能达到100万，包括：
1. 产品页面3万个
2. 产品列表分页，10～20万个（分页规则可以按照产品名、产品价格、产品上架时间，分别升序降序排列，还可以按照每页显示产品的数量不同而变成不同的URL），总之都是为了搜索优化充页面。
3. 用户评论，5~10万
4. 论坛：1～10万
5. 站内搜索生成的URL：起码50万
————————————————————
合计：大约100万个页面，这还没有计算专门为了排名而做的SEO爆炸式增长页面
?
对于一些外贸B2C网站，可能会发现，做了WPO优化之后，开始的时候网页打开速度挺快，后来突然
——服务器变慢了！（下面就是一个实际网站的例子）
?
如上图，屏蔽掉大量国内的蜘蛛包括百度。还可以考虑屏蔽掉一些国外不知名的小蜘蛛。
还有就是一些比价网站，经常有蜘蛛专门爬行B2C网站，如果你通过GA发现这些比价网站过来的访问ROI很低的话，干脆屏蔽了。
?
第四种解决方法：后端优化，参见
《对照“BlueDavy的网站架构演变”说说外贸B2C网站实际应用》 以及BlueDavy的原文。
?
以上是一点外贸B2C在蜘蛛量大增的一些性能优化总结，也应该算WPO的一方面。
?
?
作者:?谭砚耘@用户体验与可用性设计-科研笔记
版权属于:?谭砚耘 （TOTHETOP至尚国际?）
版权所有。转载时必须以链接形式注明作者和原始出处
如果你希望与作者交流，请发送邮件到?tanyanyun/at/163.com?别忘了修改小老鼠
