Scrapy抓取网页时出现CRC check failed 0x471e6e9a != 0x7c07b839L的错误
Scrapy版本0.14.4
出现问题现象：
ERROR: Error downloading <GET http://xxxxx ?CRC check failed
?
解决方法
?
1.设置网络请求时的header中的属性'Accept-Encoding': '*;q=0'
?
明确表示不支持任何形式的压缩格式，避免程序的解压缩操作
这个方法不一定有效，具体根据服务器的返回情况。如果服务器忽略此属性则此方法无效。
?
?
2.重新安装scrpay,下载当前版本的一个分支。
?
参考https://github.com/scrapy/scrapy/pull/109
分支地址：https://github.com/redapple/scrapy/tree/http11/scrapy
其实就是扩展了http1.1的DOWNLOAD_HANDLERS
?
注：此扩展需要Twisted-12.1.0的版本 Twisted-12.0.0的版本会提示找不到HTTPConnectionPool
