云计算背后的秘密（2）-GFS

2010-11-25 10:05:51由于搜索引擎需要处理海量的数据，所以Google的两位创始人Larry Page和Sergey Brin在创业初期设计一套名为“BigFiles”的文件系统，而GFS（全称为“Google File System”）这套分布式文件系统则是“BigFiles”的延续。

由于周日Linode在加州机房出现停电事故，所以这两天PeopleYun没法访问，在这里向大家表示歉意

由于搜索引擎需要处理海量的数据，所以Google的两位创始人Larry Page和Sergey Brin在创业初期设计一套名为“BigFiles”的文件系统，而GFS（全称为“Google File System”）这套分布式文件系统则是“BigFiles”的延续。

技术概览

首先，介绍它的架构，GFS主要分为两类节点：其一是Master节点，其主要存储与数据文件相关的元数据，而不是Chunk（数据块）。元数据包括一个能将64位标签映射到数据块的位置及其组成文件的表格，数据块副本位置和哪个进程正在读写特定的数据块等。还有Master节点会周期性地接收从每个Chunk节点来的更新（“Heart-beat”）来让元数据保持最新状态；其二是Chunk节点，它主要用于存储数据。在每个Chunk节点上，数据文件会以每个默认大小为64MB Chunk的方式存储，而且每个Chunk有唯一一个64位标签，并且每个Chunk都会在整个分布式系统被复制多次，默认次数为3。下图就是GFS的架构图：

图1. GFS的架构图

接着，在设计上，GFS主要有八个特点：

大文件和大数据块：数据文件的大小普遍在GB级别，而且其每个数据块默认大小为64MB，这样做的好处是减少了元数据的大小，从而能使Master节点能够非常方便地将元数据都放置在内存中以提升访问效率。

操作以添加为主：文件很少会被删减或者覆盖，通常只是进行添加或者读取操作，这样能充分考虑到硬盘线性吞吐量大，但随机读写慢的特点。

支持容错：首先，虽然当时为了设计方便，采用了单Master的方案，但是整个系统会保证Master节点会有其相对应的替身（Shadow），以便于当Master节点出现问题时进行切换。其次，在Chunk层，GFS已经在设计上将节点失败视为常态，所以能非常好地处理Chunk节点失效的问题。

高吞吐量：虽然以单个节点来看，GFS的性能无论是从吞吐量还是延迟都很普通，但因为其支持上千的节点，所以总的数据吞吐量是非常惊人的。

保护数据：文件被分割成固定尺寸的数据块以便于保存，而且每个数据块都会被系统至少复制三份。

扩展能力强：因为元数据偏小，使得一个Master节点能控制和管理上千个存数据的Chunk节点。

支持压缩：对于那些稍旧的文件，可以通过对它进行压缩，来节省硬盘空间，并且压缩率非常惊人，有时甚至接近90%。

基于用户空间：GFS主要运行于系统的用户空间（User Time），虽然在效率方面，用户空间比内核空间略低，但是更便于开发和测试，还有，就是能更好利用Linux的自带的一些POSIX API。

优劣点

由于GFS主要是为了存储海量搜索数据而设计的，所以它在吞吐量（Throughput）和伸缩性（Scalability）这两方面表现非常优异，可谓业界的“翘楚”，但是由于其主要以64MB数据块形式存储，所以在随机访问方面速度并不优秀，虽然这点可谓是它的“软肋”，但是这本身也是其当初为了吞吐量和伸缩性所做的权衡。

相关产品

和MapReduce相似的是，GFS在开源界也有其对应的产品，最出名的是HDFS分布式文件系统，在功能和设计上，HDFS从GFS身上借鉴了很多东西，而且由于其本身就是Hadoop系列的一部分，所以它为了更好Hadoop这个MapReduce框架做了很多优化。

实际用例

现在Google内部至少运行着200多个GFS集群，最大的集群有几千台 服务器 ，数据量是PB级别的，并且服务于多个Google服务，包括Google搜索和Google Earth等。同时，在最近几年，由于上面提到的高延迟问题，所以GFS并不很适合新的一些Google产品，比YouTube、GMail和非常强调实时性的Caffeine搜索引擎等，所以Google已经在开发下一代GFS，代号为“Colossus”，并且在设计方面有许多不同，比如，支持分布式Master节点来提升高可用性并支撑更多文件和chunk节点能支持1MB大小的chunk以支撑低延迟应用的需要等，希望等Colossus成熟的时候，Google也能像当初GFS那样，将其设计的细节和经验拿出来和大家分享。

【编辑推荐】

求红白游戏-超级马里奥的秘密

1：这个是胡说八道，根本练不出来。

2：你也可以试试另一个进入的方法，就是游戏屏幕顶上有一个刚好容下大马里奥的小路，你从之前的地方上去，往前走就到了。

3：就是随便找个乌龟，踩成龟壳，然后踩着它前进。 注意要在龟壳上往前跳着，否则龟壳会停下来的。

云计算的概念是什么，它起什么作用吗？

云计算的定义：即通过网络按需提供可动态伸缩的廉价计算服务。 是与信息技术、软件、互联网相关的一种服务。 云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算机资源共享池（资源包括网络、服务器、存储、应用软件、服务），这些资源能够被快速提供。 比方说以前一家公司要建信息系统来支撑自身业务，要自己建机房、买服务器、搭系统、开发出各类应用程序，设专人维护。 这种传统的信息系统一次性投资成本很高，其次公司业务扩大的时候，很难进行快速扩容，平时也不用，对软硬件资源的利用效率低下，平时维护也麻烦。 云计算的出现可以很好的解决上述问题，云计算首先提供了一种按需租用的业务模式，客户需要建信息系统，只需要通过互联网向云计算提供商（比如华为云）租一切他想要的计算资源就可以了，而且这些资源是可以精确计费的。 打个比方，云计算就像水厂一样，企业喝水再不用自己打井，接上管子就可以直接购买水厂的水。 云计算不是一种全新的网络技术，而是一种全新的网络应用概念，云计算的核心概念就是以互联网为中心，在网站上提供快速且安全的云计算服务与数据存储，让每一个使用互联网的人都可以使用网络上的庞大计算资源与数据中心。

书号的秘密

ISBN例子 ISBN962-215-001-2 ISBN ISBN计算方法 将前九个数码顺序乘以10、9、8、7、6、5、4、3、2 将各乘积相加，求出总和 将总和加以0至10范围内其中一数，使能被11整除。 所加数字，即为稽核数码。 当稽核数码为10时，以「X」代替。 国别语种出版社书名稽核数码 识别代号识别代号版别代号 ? x __________________________________________________________________________ 90+54+16+14+6+25+0+0+2 详细