超大矩阵乘法的并行计算?hadoop map-reduce矩阵乘法
hadoop ,行与行的乘法。
http://carbon.cudenver.edu/csprojects/CSC5809S01/Simd/parmult.html
一直很奇怪矩阵的乘法怎么在hadoop上面实现。看了上面的演示,才发现其实事情很简单。
矩阵M*N=A,受到习惯思维的影响,矩阵的一个元素Aij是M的一行与N的一列相乘。但是实际上可以转换为M的一列中的每一个数和N中每一行相乘,然后累加起来,就是最后的矩阵A。
PageRank算法可以整理为矩阵的乘法,最后也就化解为map-reduce的计算方法。
svd分解的并行算法:
《Parallel Algorithms for the Singular Value Decomposition 》
《A parallel algorithm for computing the singular value decomposition of a matrix》
1 楼 ytulgr 2010-04-17 我正在做超大矩阵乘法的并行计算,看到楼主的文章。楼主能否讲解一下关于PageRank算法整理为矩阵的乘法,最后也就化解为map-reduce的计算方法的过程。谢谢!
2 楼 poson 2010-04-17 我没有把PageRank算法整理为矩阵。我们的问题有点类似pagerank,基本上是使用近似的算法。
网上有篇文章介绍的特别的详细。
3 楼 ytulgr 2010-04-17 那篇文章出处能否告知?谢谢! 4 楼 poson 2010-04-20 这个是否可以:http://www.kreny.com/pagerank_cn.htm
5 楼 20084896 2010-05-06 那个网址好像不能访问了
博主用hadoop做过实验吗? 支持多大规模的矩阵呢? 6 楼 poson 2010-05-07 我们做的矩阵估计是几十万乘几十万的矩阵,如果是稀疏矩阵应该可以更大一些。 7 楼 Oh_Shit 2011-07-21 楼主大哥,能否给个代码给我。 。
我在做矩阵算法,无从下手啊/ 8 楼 poson 2011-07-29 那个网页就是把矩阵运算行*列,转换为行与行求内积的一个算法;
好像最多就只做过100万*100万的稀疏矩阵的乘法;
20084896 写道那个网址好像不能访问了
博主用hadoop做过实验吗? 支持多大规模的矩阵呢?
9 楼 poson 2011-07-29 就是一个hadoop的算法;
好像mahout里面有hadoop 矩阵运算的例子?没有看过