数据仓库将来发展
数据仓库未来发展昨天无意中看到有人提出数据仓库正在吸收并采纳一些云计算有关的思路进行整合,各位大虾有
数据仓库未来发展
昨天无意中看到有人提出数据仓库正在吸收并采纳一些云计算有关的思路进行整合,各位大虾有研究么?可否分享下?多谢了!
[解决办法]
[解决办法]GreenPlum打造新一代数据仓库和云平台
近日,GreenPlum公司推出了最新的GreenPlum Database 4.0数据库和首个商用企业数据库云端运算平台GreenPlum Chorus。GreenPlum的数据库仓库产品采用了MPP(Massively Parallel Processing)并行处理的架构,数据库引擎是基于软件的引擎,不依赖一些专有硬件平台,同各种硬件和操作系统平台有很强的兼容性,可以很轻易地使用10G的以太网络、SSD存储还有虚拟化技术来服务于数据分析。同时该架构具有很强的伸缩性,支持从几个TB的数据到几个PB(1PB=1000TB)的数据。
MPP中所使用的MapReduce是一种新的处理技术或者说是一种新的处理的框架,是谷歌发明的一种主要用于文本的分析检索功能,使用这种技术,只需要增加节点就可以线性地提高系统的存储容量和处理能力。Luke Lonergan说,为了充分发挥MapReduce这种特性,在GreenPlum数据库系统中提供相应的API可供不同的编程语言调用。
除此之外,新产品在工作负载管理、自我恢复容错和数据分析方面有了重大的突破。工作负载管理就是既要保证工作负载的全部完成,又要保证处理的优先级。Luke Lonergan说,工作负载管理利用资源队列管理实现按用户组的进行资源分配,比如: 保证公司的高层管理人员早晨一到办公室就能够拿到数据,同时保证其他被分配的任务全部顺利完成,而且还有防止低质量的SQL对系统资源消耗的管理。
在数据分析方面,GreenPlum Database 4.0增加了更快的单行操作(选取、更新、插入和删除)等的优化,加强了深度分析功能,引入新的分析方法。更为突出的是,是对在混合工作环境下的服务级别协议和请求的优化,Luke Lonergan说,当前越来越多的客户在做数据分析处理的同时,也在做在线交易的处理,即OLTP(在线事务处理)和OLAP(在线分析处理)同时进行,GreenPlum数据库能够进行不同的分类和重新导向以便有效地加速交易处理的速度。
对于云端数据库平台Chorus,Luke Lonergan说,Chorus是一个具有数据库能力虚拟化的云平台,企业用户可通过GreenPlum的数据库和Chorus,建设强大的企业级的数据“云”系统: Chorus包括了三个主要的功能,自助服务供应、数据库实例(DataBase Instance)、数据集市管理。