首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 服务器 > 应用服务器 >

——DNS域名解析的有关问题

2012-04-28 
求助——DNS域名解析的问题在做一个爬虫,为了避免DNS解析阻塞带来的瓶颈,设计了异步非阻塞DNS服务但是获取到

求助——DNS域名解析的问题
在做一个爬虫,为了避免DNS解析阻塞带来的瓶颈,设计了异步非阻塞DNS服务
但是获取到的ip地址普遍不可以访问网站

可能的原因:
1 网站使用了web应用安全防火墙,隐藏了真实的IP,例如使用360的网站宝
参考:http://lb.360wzb.com/
2 网站的服务器位于一个虚拟机上,多个站点共用一个IP,访问需要端口号
3 网站使用了反向代理
参考:http://hi.baidu.com/danghj/blog/item/613c8dca01533081c91768a2.html

提问:
1 那浏览器是如何做到的,浏览器的访问web的流程不是,先将域名解析请求发送到DNS服务器,获取到ip,然后用这个ip建立到web服务器的连接

2 DNS解析只提供域名解析的映射关系,那如果访问一个ip上的不同虚拟机,如何实现呢?

问题重现:
在cmd 中 输入nslookup
输入www.39.net
得到ip 59.42.249.74在浏览器中输入这个ip地址并不能访问web服务
为什么呢?
怎么样才可以呢

[解决办法]
你的问题,本身就是矛盾的,你想要把httpclient的url访问行为拆分做异步实现,于是你独立完成了DNS解析,但是你又想用原本未拆分的HTTPclient

所以要想能够利用实现的异步DNS解析,只需要将异步DNS做成一个DNS代理 架设到爬虫和DNS服务器中间就可以了

热点排行