首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 开发语言 > perl python >

python轮换UTF-8编码文本中任意特殊字符,包括中文符号

2013-10-28 
python替换UTF-8编码文本中任意特殊字符,包括中文符号问题:大量文本,将其中的特殊字符用空替换,特殊字符如

python替换UTF-8编码文本中任意特殊字符,包括中文符号

问题:

大量文本,将其中的特殊字符用空格替换,特殊字符如:◆★,日期[1990-11-23]等。

这些文本有如下特点:

1.文件名以中文命名

2.经测试,文件编码为UTF-8

先看程序:

# -*- coding: utf-8 -*-import reimport chardetimport osdef dowork(dirname):    txt_filenames = os.listdir(dirname)    #需要替换的字符正则表达式:◆★[1990-2-30],这是核心    pat = r"(\xe2\x98\x85|\xe2\x97\x86)|(\[\d+-\d+-\d+\])"    repat = re.compile(pat)        i = 0    for filename in txt_filenames:        #选出正确的文件类型        if filename.find('.txt') == -1:            continue        #判断文件本身的类型是不是UTF-8        f = open(filename, 'r')        print 'open ' + filename        line = f.readline()        enc = chardet.detect(line)        #保存文件类型        fileencode = enc['encoding']        print enc        f.close()        #wname是新文件的名称        wname = './src/' + filename.split('.')[0] + str(2) + '.txt'                f = open(wname, 'w')        print 'the file of writing is ', wname        #开始将替换后的字符串写入文件        for line in open(filename, 'r'):            #用空格替换特殊字符            wline = repat.sub(' ', line)            f.write(wline)        f.close()        if __name__ == '__main__':    dirname = r'C:\\Users\\hw\\Desktop\\qiaofangjie\\TraditionalCorpus'    dowork(dirname)    


在实际解决问题中,遇到了几个难点:

1.关于任意字符,如何利用正则表达式替换

2.python的文件编码,搞得我头晕了,现在也不算很明白

收获有以下几点:

1.python源文件默认编码为ascii码,如果里面有中文,在文件头加# -*- coding: utf-8 -*-,就可以写中文了

2.关于替换:

   英文字符找相应的正则表达式即可;中文字符是难点,可以将中文字符的utf-8编码写到模式匹配中,配合正则表达式即可使用。中文字符的utf-8编码可以用repr表达式输出

3.文件由于比较大,用readlines读取文件较慢,采用文件迭代器读文件,应该是一次读一行的(还不是很清楚,以后再试试)

4.在自己测试的小例子中,filename="中文文件.txt",直接读会出错,转为unicode编码就可以了,即filename=u"中文文件.txt"

5.用chardet模块,可以判定文件的编码方式。只是我这里没有用到,只是看了一下编码是不是utf-8的

6.关于encode与decode,utf-8可以通过decode转为unicode,如strutf-8.decode('utf-8')返回unicode对象;unicode通过encode编码为具体的格式如utf-8,gbk等,如

strunicode.encode('utf-8')

先写这么多,加班很苦逼



热点排行