工作笔记
?
在工作中遇到的一些问题和经验，仅给自己总结
1. 在weibo 选取contenthead length时，需要对长度进行一下测试。
?? 如果长度很短，查出的条数可能会非常多，造成过多的网络开销
?
?? 统计时使用的脚本：
?? （1） 选取一天的md5加密的字段出来
mysql -ustock -p 91z -e"SELECT id,pub_date, md5contenthead FROM weibo ?WHERE DATE_FORMAT(pub_date,'%Y-%m-%d')='2012-06-14' AND site = 4" > out.file --disable-column-names
?
?? （2）进行mysql 语句的整合
awk '{print "SELECT COUNT(*) FROM weibo WHERE md5contenthead = '\''" $4 "'\'';"}' out.file > out2.file
?
?? （3）查询
mysql -ustock -p 91z < out2.file > out3.file --disable-column-names
?
2.?
按键操作：
注释：ctrl+v 进入列编辑模式,向下或向上移动光标,把需要注释的行的开头标记起来,然后按大写的I,再插入注释符,比如"#",按住shift键，同时按下向下移动光标两次，再按Esc,就会全部注释了。
删除：按ctrl+v 进入列编辑模式,向下或向上移动光标,选中注释部分,然后按d, 就会删除注释符号（#）。
?
3.Linux下python中文编码的问题。
?
同样的程序在WIN下跑正常，在Linux下跑读取个别文件会提示“UnicodeDecodeError: 'gbk' codec can't decode bytes in position 30664-30665: illegal multibyte sequence”
这是因为遇到了非法字符——尤其是在某些用C/C++编写的程序中，全角空格往往有多种不同的实现方式，比如\xa3\xa0，或者\xa4\x57，这些字符，看起来都是全角空格，但它们并不是“合法”的全角空格（真正的全角空格是\xa1\xa1），因此在转码的过程中出现了异常。
按网上的方法是这样解决：
s.decode('gbk', 'ignore').encode('utf-8')
因为decode的函数原型是decode([encoding], [errors='strict'])，可以用第二个参数控制错误处理的策略，默认的参数就是strict，代表遇到非法字符时抛出异常；
如果设置为ignore，则会忽略非法字符；
如果设置为replace，则会用?取代非法字符；
如果设置为xmlcharrefreplace，则使用XML的字符引用。
我的解决方法是直接忽略非法字符：
s.decode('gbk', 'ignore')
