hdfs一致性模型，hdfs一致性


文件系统的一致模型描述了对文件读写的数据可见性。HDFS为性能牺牲了一些POSIX请求，因此一些操作可能比想像的困难。

在创建一个文件之后，在文件系统的命名空间中是可见的，如下所示：

1.  Path p = new Path("p");  

2.  Fs.create(p);  

3.  assertThat(fs.exists(p),is(true)); 

但是，写入文件的内容并不保证能被看见，即使数据流已经被刷新。所以文件长度显示为0：

1.  Path p = new Path("p");  

2.  OutputStream out = fs.create(p); 

3.  out.write("content".getBytes("UTF-8")); 

4.  out.flush();  

5.  assertThat(fs.getFileStatus(p).getLen(),is(0L)); 

一旦写入的数据超过一个块的数据，新的读取者就能看见第一个块。对于之后的块也是这样。总之，它始终是当前正在被写入的块，其他读取者是看不见它的。

HDFS提供一个方法来强制所有的缓存与数据节点同步，即在文件系统数据输出流使用sync()方法。在sync()返回成功后，HDFS能保证文件中直至写入的最后的数据对所有新的读取者而言，都是可见且一致的。万一发生冲突(与客户端或HDFS)，也不会造成数据丢失：

1.  Path p = new Path("p");  

2.  FSDataOutputStream out = fs.create(p); 

3.  out.write("content".getBytes("UTF-8")); 

4.  out.flush();  

5.  out.sync();  

6.  assertThat(fs.getFileStatus(p).getLen(), 
is(((long) "content".length()))); 

此行为类似于Unix中的fsync系统调用-- 为一个文件描述符提交缓冲数据。例如，利用Java API写入一个本地文件，我们肯定能够看到刷新流和同步之后的内容：

1.  FileOutputStream out = new FileOutputStream(localFile); 

2.  out.write("content".getBytes("UTF-8")); 

3.  out.flush(); // flush to operating system 

4.  out.getFD().sync(); // sync to disk 

5.  assertThat(localFile.length(), is(((long) "content".length()))); 

在HDFS中关闭一个文件其实还执行了一个隐含的sync()：

1.  Path p = new Path("p");  

2.  OutputStream out = fs.create(p); 

3.  out.write("content".getBytes("UTF-8")); 

4.  out.close();  

5.  assertThat(fs.getFileStatus(p).getLen(),
is(((long) "content".length()))); 

应用设计的重要性

这个一致模型与具体设计应用程序的方法有关。如果不调用sync()，那么一旦客户端或系统发生故障，就可能失去一个块的数据。对很多应用来说，这是不可接受的，所以我们应该在适当的地方调用sync()，例如在写入一定的记录或字节之后。尽管sync()操作被设计为尽量减少HDFS负载，但它仍然有开销，所以在数据健壮性和吞吐量之间就会有所取舍。应用依赖就比较能接受，通过不同的sync()频率来衡量应用程序，最终找到一个合适的平衡。

相关内容