极道品牌故事之：数据感知( 二 ) 无论多高端的存储系统

文章插图
极道花了大量的时间去试错和探索，最终选择了高效的分布式图算法来实现数据管理系统。在这个系统中，每个数据和它的元数据都是图中的一个点，数据和元数据之间的关系是线，元数据和元数据之间关系也是线，这样构建的一张可扩展的复杂的图既描述了数据和元数据之间的关系，也描述了元数据和元数据之间的关系，加以极道创新的并行分布式图算法，得以高效的管理和分析元数据，快速得到分析和查询结果。
“存管协同”让数据发现变得简单元数据管理的另外一个难题是如何高效地获取元数据，这个问题比大家想象的要复杂。例如，在文件存储中，目录所代表的文件层次关系包含了复杂的数据依赖关系，随着数据的写入、修改、删除和文件的改名、移动等变化，文件和目录的结构也在不断变化，对应的元数据和元数据之间的依赖关系也在不断变化。
为了获取元数据和元数据的变化，最容易想到的方法肯定是不断扫描存储系统上的所有数据。然而海量数据的情形下，遍历文件系统会严重影响存储系统的性能而且实时性很差。
实时捕获元数据变化的另一种方法就是网关模式。在存储系统和客户端之间架一个数据管理网关，所有的数据操作都需要经过数据管理网关转发给存储，因此数据管理网关可以截获所有的数据特征变化。但是这种方法的弱点是数据请求转发带来了性能的损失，对性能有严格要求的一级生产存储系统，网关模式是不可接受的。
极道经过周密的考虑之后，设计了“存管协同”模式，在存储系统里嵌入元数据捕获引擎（MetaHunter），捕获所有的元数据的变化，以近实时、轻量级和绝对一致的方式带外汇报给数据管理系统，这既规避了扫描存储带来的元数据代价和实时性损失，也没有带来任何数据存取路径的额外负担。
极道数据系统，引领智能数据使能极道的所有产品都围绕着数据的“储”和“治” 。在单独做好存、管、算的同时，进一步强化协同设计：