关于分布式存储，这是你应该知道的

图8

• 1、Client将FileA按64M分块.分成两块,block1和Block2.
• 2、Client向nameNode发送写数据请求,如图紫色虚线1.
• 3、NameNode节点,记录block信息.并返回可用的DataNode给客户端,如图红色虚线2.

Block1: host11,host22,host31

Block2: host11,host21,host32

• 4、client向DataNode发送block1；发送过程是以流式写入.

流式写入过程:

1)将64M的block1按64k的package划分;

2)然后将第一个package发送给host11;

3)host11接收完后,将第一个package发送给host22,同时client想host11发送第二个package；

4)host22接收完第一个package后,发送给host31,同时接收host11发来的第二个package.

5)以此类推,如图黑色虚线3所示,直到将block1发送完毕.

6)host11,host31向NameNode和 Client发送通知,说“消息发送完了”.

7)client收到发来的消息后,向namenode发送消息,说我写完了.这样就真完成了.

8)发送完block1后,再向host11,host32发送block2,如图蓝色虚线4所示.

……….

HDFS是分布式存储的雏形,分布式存储将在以后详细介绍.

三、存储介质

仓库有很多种存储的介质,现在最常用的是磁盘和SSD盘,还有光盘、磁带等等.磁盘一直以性价比的优势占据了霸主的地位.

圆形的磁性盘片装在一个方的密封盒子里,运行起来吱吱的响,这就是我们常见的磁盘.磁片是真正存放数据的介质,每个磁片正面和背面上都“悬浮”着磁头.

磁盘上分割为很多个同心圆,每个同心圆叫做磁道,每个磁道又被分割成为一个个小扇区,每个扇区可以存储512B的数据.当磁头在磁片上高速转动和不停换道,来读取或者写入数据.

其实磁片负责高速转动,而磁头只负责在磁片上横向移动.决定磁盘性能的主要是磁片的转速、磁头的换道、磁盘、每片磁片的容量和接口速度决定的.转速越高、换道时间越短、单片容量越高,磁盘性能就越好.

图9

图10

图11

衡量磁盘性能主要参考 IOPS 和吞吐量两个参数.

IOPS就是一秒钟内磁盘进行了多少次的读写.

吞吐量就是读出了多少数据.

其实这些指标应该有前提,即是大包(块)还是小包(块),是读还是写,是随机的还是连续的.一般我们看到厂家给的磁盘IOPS性能一般是指小包、顺序读下的测试指标.这个指标一般就是最大值.

目前在X86服务器上我们常使用的 SATA、SAS磁盘性能：

（编辑：青岛站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!