讨论一道系统设计题目
分布式系统设计
有1000亿个URL，其中大约有5亿个site。每天的更新大约2%-5%。设计一个系统来解决存储和计算下面三个问题。可用分布式系统。
URL：http///site[port]*(key==?;key==?)
site:[*].domain
URL：http://www.baidu.com/baidu?word=%E5%AE%A3%E8%AE%B2%E4%BC%9A&ie=utf-8
site：：www.baidu.com
domain：：baidu.com
key=baidu?word
a>检测每个域名下的site数目，以及每个site下的URL数目，输出site变化超过一定阈值的域名以及URL数目变化剧烈的site。找出泛域。
泛域：该域下的site数目超过500个，且每个site下的URL数目超过100个。
b>提取URL中key的特征，对site进行聚类；
(每个site下面有多个URL，这些URL中有许多key，可以获取这些key作为site的特征，对site进行聚类，不过这应该是多机器联合的)
c>对于给定的domain，输出该domain下的所有site。
[解决办法]
太常见了，mapn + hashtable
