HDFS Datanode与Client之间的数据传输
在HDFS之中,Datanode与Namenode之间是通过RPC进行通信的;在Datanode和Client之间的通信通过两种方式来完成,一种是通过RPC(主要有三个方法recoverBlock、getBlockInfo、getBlockLocalPathInfo),另外一种方式是通过普通的socket。Client与Datanode之间的数据传输就是通过普通的socket来进行传输的。
在类Datanode中包含DataXceiverServer的一个实例,该实例实现ServerSocket功能,主要是接受Client的socket的连接。DataXceiverServer接受socket连接后,启动一个线程DataXceiver。DataXceiver具体负责与Client之间进行block的传输与操作,具体有一下几种操作:
? OP_READ_BLOCK:client从Datanode中读取一个block
? OP_WRITE_BLOCK:client写一个block到Datanode
? OP_REPLACE_BLOCK:Receive a block and write it to disk, it then notifies the namenode to remove the copy from the source.
? OP_COPY_BLOCK:Read a block from the disk and then sends it to a destination
? OP_BLOCK_CHECKSUM:获取一个block的校验和
DataXceiver通过BlockSender和BlockReceiver来完成block的发送与接收。BlockSender具体负责将block发送到Client;BlockReceiver具体负责接收Client的block,并将其写入到本Datanode以及管线的其他Datanode。