大数据量表的统计处理
大师们好,请教下我数据库中有一个用于采集终端数据的表,每天大概产生10万条数据。
后面需要用这些数据做一些统计,统计范围限定为1年以内的。
应该怎么处理这种数据,才能使得统计结果显示较快呢?
索引方法已经使用
[解决办法]
按时间列做分区就可以了。
[解决办法]
每天统计好数据,按月,按季度从统计好的天数据 查询
[解决办法]
1.按年做成独立的表
2.时间字段建索引
[解决办法]
建议用分布式存储,分拆内容到不同的服务器。
用分区表时,数据量过大(1000W+)也不太合适,要看表的字段是否多和大。