ubuntu系统 python最简略的网页抓取程序出错,自己猜测跟ipv6有关
ubuntu系统 python最简单的网页抓取程序出错,自己猜测跟ipv6有关。事情是这样的#!/usr/bin/python# -*-codi
ubuntu系统 python最简单的网页抓取程序出错,自己猜测跟ipv6有关。
事情是这样的
#!/usr/bin/python
# -*-coding:utf-8-*-
#from urllib import urlopen
#doc = urlopen("http://www.csdn.net/")
#print doc.info()
import urllib
html_src = urllib.urlopen('http://www.renren.com').read()
print html_src
#print doc.info().getheader('Content-Type')
开始抓取时,总是出错。忘了出错提示的信息了。
后来,用另一款voip软件时,被提示说 自己默认的是ipv6上网。于是禁止ipv6,今天再试python后,发现可以抓取网页了。
不知道其中原因,希望有人能帮我解释下!谢谢拉
[解决办法]没去深入研究。
不过,参考:
how to do urlopen over ipv4 by default
中说到urllib.urlopen底层用的是httplib.HTTP(),所以猜测估计此函数对于新的ipv6支持不够好,或者说不支持吧。
[解决办法]忘了说了,反正更加简易用urllib2,去做相关的网络处理,好像urllib2,对ipv6支持的比较好。