首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 服务器 > 云计算 >

HDFS Datanode与Client其间的数据传输

2012-11-09 
HDFS Datanode与Client之间的数据传输在HDFS之中,Datanode与Namenode之间是通过RPC进行通信的;在Datanode

HDFS Datanode与Client之间的数据传输

在HDFS之中,Datanode与Namenode之间是通过RPC进行通信的;在Datanode和Client之间的通信通过两种方式来完成,一种是通过RPC(主要有三个方法recoverBlock、getBlockInfo、getBlockLocalPathInfo),另外一种方式是通过普通的socket。Client与Datanode之间的数据传输就是通过普通的socket来进行传输的。

在类Datanode中包含DataXceiverServer的一个实例,该实例实现ServerSocket功能,主要是接受Client的socket的连接。DataXceiverServer接受socket连接后,启动一个线程DataXceiver。DataXceiver具体负责与Client之间进行block的传输与操作,具体有一下几种操作:

? OP_READ_BLOCK:client从Datanode中读取一个block

? OP_WRITE_BLOCK:client写一个block到Datanode

? OP_REPLACE_BLOCK:Receive a block and write it to disk, it then notifies the namenode to remove the copy from the source.

? OP_COPY_BLOCK:Read a block from the disk and then sends it to a destination

? OP_BLOCK_CHECKSUM:获取一个block的校验和

DataXceiver通过BlockSender和BlockReceiver来完成block的发送与接收。BlockSender具体负责将block发送到Client;BlockReceiver具体负责接收Client的block,并将其写入到本Datanode以及管线的其他Datanode。

热点排行