达人10TB数据怎么存储
请教各位达人10TB数据如何存储各位达人,现有一个项目情况如下:在煤矿运煤时需要大概2KM的传送带将煤从地下
请教各位达人10TB数据如何存储
各位达人,现有一个项目情况如下:
在煤矿运煤时需要大概2KM的传送带将煤从地下传到出口,由于传送带不断运转,当滚轮出现故障时温度将升高,从而可能导致火灾等事故,鉴于此,将做一监控系统,在传送带上装2000个左右的温度传感器进行数据收集,大概5S收集一次到服务器,那么1年左右将有5TB左右的数据,若50个传送带数据量将更大; 收集完数据之后将再对这些数据进行BO分析;
对于数据分析问题不大,对大数据存储不是很了解,在此恳请各位达人兄弟姐妹帮忙出出注意,感谢! 大数据
[解决办法]
这么大的数据,首先考虑建立分区表,可以按每一天一个分区来设计。
[解决办法]
给楼主一个温馨提示,在数据存储的时候如果温度一直未变怎么办,或者楼主的存储温度值的精度在0.01,温度的变化从23.01变为23.02,那么23.02这要不要存,所以有的时候为什么数据那么多,是否这些数据是有用的数据,我们都不曾考虑,而只是等数据量大了,就想办法去解决。
正如洪水来了才想到怎么样去治理洪水,而不去仔细分析洪水的成因。
[解决办法]
【由于传送带不断运转,当滚轮出现故障时温度将升高,从而可能导致火灾等事故】
如果这个目的,数据只是当时有效吧,能存储5分钟的数据,及时报警才是关键啊
[解决办法]
这个无非就是分区表,如果一台服务器存不了,就通过数据库复制,把数据复制到其他服务器,一台主要是insert,一台专门用户查询。
[解决办法]你这个需求其实不需要把2000多个监控点的数据放到一个服务器,可以配10台左右的便宜服务器,每个服务器处理200个监控点的数据,保证处理的实时性。这样程序也只要开发一套就可以了。
如果要把监控到的数据存储起来,需要买独立的存储设备,然后服务器上写程序定时把过期数据转移到存储上。
对于历史数据的查询,建议在存储设备上每隔一段时间做一次历史数据的汇总,把需要的汇总值存储后就删除历史明细数据,保证存储设备的存储数据量不会无限增加。
如果需要具体的方案可以联系我。
[解决办法]可以通过微软Windows2012R2系统做分布式存储。
[解决办法]7L的说法可以考虑一下。
用11台服务器,10台平均处理那2000多个节点,平均一台200多个节点,一台一年数据量只有500G左右。
然后这10台定时将数据整理后发送到第11台上,第11台专门用于查询结果。
[解决办法]1台好服务器+10台差服务器 贵
还是 1台很好的服务器+存储设备 贵?
[解决办法]系统功能主要有: 实时监控,数据分析.
建议数据库设计时加入数据归档的功能,如1天,1周或1月的数据存为一个表.
实时的监控数据表只保留最近1天,1周或1月的数据.
需要数据分析时,用动态SQL找出所有相关的历史数据表即可.
[解决办法]1台好服务器+10台差服务器 贵
还是 1台很好的服务器+ 贵?
1年才5T。1台服务器加存储设备就搞定了。