华为OceanStor MVX存储系统技术漫谈二

　　大数据时代，数据成爆炸式增长，数据总量ZB级，对我们的IT系统提出了更大的容量存储能力和更高的系统性能要求。华为OceanStor MVX存储系统(以下简称MVX系统)采用Scale-Out架构，通过服务器的集群方式构建，可自由横向扩展，提供统一命名空间，这个统一的命名空间可以提供高达170GBps的总带宽，超过300万的OPS，以及很低的时延。MVX系统是如何达到这样的卓越性能的呢？

　　SSD加速

　　在一个系统中，我们把用来描述数据的数据称为元数据，元数据管理真正的数据。元数据的特征是数据量不大，但访问频繁且离散。我们在并发访问数据的时候，需要先访问元数据，以获得数据的大小，路径等信息再通过这些信息访问数据的内容。传统机械硬盘，顺序访问性能可达100MB级别，但小文件随机访问的性能极低。用传统机械硬盘来存储元数据，元数据往往就成为了整个系统的性能瓶颈。

　　近几年固态硬盘(SSD)技术突飞猛进，SSD存储小文件随机访问的性能有目共睹。就存储介质而言，SSD以其高性能引领着存储行业的变革方向。但它同时也面临着高成本和低容量的尴尬困境，而这恰恰是传统硬盘的长项。就目前SSD的发展程度，在大数据时代，面对大容量和低成本的要求，所有场景全部采用SSD的方案是不现实的。

　　MVX系统基于分布式架构，数据和元数据分开管理，系统智能控制元数据的分布位置。同时，MVX系统的高性能节点配置SSD。这样，MVX系统把元数据存放在SSD上，数据放在机械硬盘上，既能提升整系统性能，又能提供大容量空间，还能保持低TCO。

　　MVX系统不仅仅可以把元数据放在SSD上，加速元数据访问速度，还能自动识别小文件，和热门数据，并自动把部分小文件和热数据放在SSD上。当SSD空间满的时候，MVX通过自动的冷热文件识别，把一部分近期被访问可能性较低的文件转移到SATA或SAS盘上。这样的设计可以让资源得到充分的利用。

　　SSD的空间容量毕竟有限，只能放置部分元数据和数据，绝大部分数据都放在传统的，读写性能比SSD低很多的机械硬盘上。如果要保证整系统的高性能，仅仅依靠SSD加速还不够。缓存，一直以来，也是用来提升性能的一大法宝。

　　全局缓存

　　在一个系统中，数据通常情况下读要比写的频率高，提升数据的读性能，能显著提升整系统性能。数据从缓存中读出，比从硬盘读出快很多倍。传统的做法是尽可能加大节点的缓存，但单节点的缓存总是有上限的。而且传统集群服务器的缓存往往是各自为政，同一块数据有可能被多个节点的缓存分别进行缓存处理，随着节点的增加，缓存命中率不会得到提高，磁盘的读性能得不到改善，数据的一致性保证机制也会非常复杂，进而消耗过多的系统资源。

　　MVX系统作为一个分布式，share nothing架构的系统，每个节点都对外提供服务。MVX系统采用全局缓存模式，把所有单节点的缓存联合起来，整合成一个大缓存池，从任一节点访问，读写均可以在全局缓存池中作统一的命中处理。MVX最高可以拥有超过4TB的超大缓存，大大提高缓存命中率，减少读盘次数，降低访问时延，提升系统并发度、进而提升整系统性能。

　　把所有单节点的缓存整合成一个统一的全局缓存池，需要通过系统的内部网络来完成数据的交换，如果内部网络性能差，时延大，必然影响整体的系统性能。