首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 开发语言 > Ruby Rails >

宋词分析整编版(ruby)

2012-08-27 
宋词分析改编版(ruby)上一次我写的宋词分析,是在Windows环境下的,缺省编码是GBK(936),所以在处理UTF-8的时

宋词分析改编版(ruby)
    上一次我写的宋词分析,是在Windows环境下的,缺省编码是GBK(936),所以在处理UTF-8的时候,需要转换为GBK,再进行处理分析。
    不过现在已经是ruby1.9版了,那么就改一下,在uft-8下处理程序,主要就是把原宋词文件内容从gbk编码为utf-8,再进行相应的处理,dos下需要chcp 65001转换为utf-8编码,再执行才可以看到正确结果,否则就是乱码。
    我用的SciTE,在Options->Open Global Options File中,code.page=65001,output.code.page=65001去除前面的#,就可以正确处理utf-8文字了。
    嗯,Windows就是麻烦,Linux和mac一直想玩玩,但是单位无法上网,需要联网的东西太费事了。
    还有就是改写为utf-8版后,计数和gbk版的不同了,gbk版的,和原文的计数一致,utf-8版的,一是计数多了,二是很多后面的也提到了前面,不知道为什么,也许是gbk->utf-8转换的时候,一些文字出现问题了吧。

#coding: utf-8require "iconv"NUM1 = 2 #分词长度NUM2 =500  #显示大于多少的记录def splitword(s,l)    #分词,s是字符串,l是字符分词长度  lt  = s.length  k = Array.new  0.upto(lt-l) do |i|     k<<s[i..i+l-1]  end  return kendt = Time.nowx = Array.new     #记录分词结果的数组File.open("ci.txt", "r")  do |file|  file.each do |line|        line = Iconv.conv("UTF-8//IGNORE","GBK", line)        line.chomp!    column = line.split(/,|。|!|?|、/)          #使用标点分割    column.delete_if {|i| i.length >10 }    #去除大于10个字的语句    column.each do |col|       splitword(col,NUM1).each{|i| x<<i} if col.length>NUM1 # 分词    end   endendh = Hash.newh = x.inject(Hash.new(0)){|hash,x| hash[x] += 1; hash} #把数组内容进行计数为hashh.delete_if {|key, value| value <NUM2}               #去除hash中小于指定数值的部分y = Array.newy  = h.sort {|a,b| b[1]<=>a[1]}                      # 从大到小排序y.each_index {|i| puts "#{i+1} #{y[i][0]} = #{y[i][1]}" }puts "运行时间是:"<<(Time.now-t).to_s<<"秒"

热点排行