首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 软件管理 > 软件架构设计 >

数据分析工作的1点改进

2013-09-05 
数据分析工作的一点改进最近老是用python要对各种csv做各种统计,工作不可谓不繁琐啊,通常在一次csv扫描中

数据分析工作的一点改进

最近老是用python要对各种csv做各种统计,工作不可谓不繁琐啊,通常在一次csv扫描中完成几种到几十种统计,因此重复代码多、可读性也差。

应该对不同统计做一些原型封装,以动态语言的灵活性不需要做代码生成器,只需要写不同的函数完成不同的功能即可,这样代码大大减少,可读性维护性都很好,唯一的问题会是对不同的工作都需要单独扫描一遍文件。

如果对性能有要求,要把不同的统计放在一遍扫描中,又要避免每次统计之前认真确定好如何执行,可能真需要一个代码生成器。

如果以后这部分工作切到hadoop上面,是不是有相应的类库或工具可以使用呢?

热点排行