江苏龙网

  1. 首页 > 人文 > >

光一样的少年|向大数据异构系统的神威并行存储系统( 三 )


2.4并行存储系统的挑战为了满足高性能计算和大数据应用对存储系统的需求 ， “神威·太湖之光”并行存储系统面临的主要挑战如下 。
一是大规模I/O访问的服务均衡和质量保证 。 系统需设计一个灵活方便、可定制的I/O服务分发层 ， 以便根据存储系统中多条I/O通路的负载和质量进行评估 ， 针对计算节点发起的I/O请求进行动态分发和跟踪调度 。 服务分发层的分发算法需要结合发起方请求属性和后端存储系统I/O数据通路质量进行决策 。
二是异构计算节点I/O访问的高性能 。 系统需要对数据在各个分布式节点上的缓存进行统一调度和管理 ， 需要设计实现分布式数据缓存机制来提升数据访问性能 。 在分布式数据缓存机制中 ， 通过多层缓存机制协同 ， 并利用分布式锁机制来保证缓存一致性 。
三是大规模并行存储系统的高可用性 。 作为高性能计算和大数据处理的数据基础 ， 存储系统的高可用性也至关重要 。 在高性能计算系统中 ， 计算分区的节点可以不断重启和更新 ， 但存储系统必须保证持续在线 ， 系统需具有故障容忍和自愈功能 。
3并行存储系统架构在“神威·太湖之光”系统中 ， 由于计算规模极其庞大 ， 如果任由计算节点发出I/O请求而不加以控制 ， 有可能导致上百万的I/O请求同时访问或操作同一数据块 ， 这是不能容忍的情况 。 为了应对如此大规模的I/O访问、保证访问的有序性和高效性 ， 存储系统采用分层架构 ， 在计算节点和后端存储间引入I/O转发服务层 ， I/O访问的分发和控制由服务层完成 ， 并辅助以存储缓存管理 ， 提高访问性能 ， 缩短由I/O访问路径增长带来的时延 。
在存储软件上 ， 计算节点应用轻量级文件系统（lightweightfilesystem ， LWFS）实现高效、低资源占用 ， 以减少对计算节点资源的占用开销 。 在计算节点上 ， 运算核与控制核间通过紧耦合的I/O模块以内存映射的方式实现数据的高效传输和共享 。 整体软硬件系统架构如图4所示 。
其中 ， I/O模块运行在控制核心的内核模块 ， 负责在控制核心的LWFS上增加数据映射通路 ， 支持运算核通过控制核访问后端存储系统 。
LWFS部署在计算节点和存储服务节点上 ， 负责计算大规模运算节点的数据存储请求 ， 支持控制核访问后端存储系统上的全局文件系统——神威全局文件系统（SWGFS） 。
SWGFS部署在存储服务节点上 ， 通过虚拟化整合异构的网络存储设备 ， 将其抽象为对象存储设备 ， 并构建基于对象的分布式并行文件系统 ， 提供全局统一视图和全局共享的数据存储服务 。
存储系统的总体设计原则是：明确各层的功能和目标、计算节点I/O访问的代价和开销尽量小、应用I/O访问的方式简单高效 。 I/O转发服务层负责数据访问通路和缓存管理 ， 具有存储系统整体视图 ， 通过多种参数进行I/O访问的调配 ， 以达到I/O访问的均衡；后端存储部分负责对存储资源和空间进行高效管理 。
3.1LWFSLWFS是在“神威蓝光”存储系统中引入的 ， 早期的设计没有考虑异构众核场景 ， 计算节点采用了无缓存的用户层文件系统设计 。 对于异构众核架构的“神威·太湖之光”来说 ， 无缓存的设计会导致频繁的网络I/O ， 增加系统开销 。 为了支持异构众核场景的I/O访问 ， LWFS引入缓存设计 ， 并且设计协同机制 ， 与I/O转发服务层的缓存保持一致 。
如图5所示 ， 数据缓存有两种方式 ， 第一种方式是某块数据（如data1）只在特定的I/O转发服务节点上缓存 ， 这种方式的好处是缓存在I/O转发服务节点处共享 ， 一致性协议只需支持多计算节点和I/O转发服务节点间的缓存一致性即可 ， 高效简单 。 但缺点是数据与服务节点黏性太大 ， 不利于服务节点的容错以及I/O通路的灵活调度 。 第二种方式是数据（如data2）可以在不同的I/O转发服务节点上缓存 ， 一致性协议需要考虑多I/O转发服务节点之间的数据同步及更新 。 神威并行存储系统中的实现方式是两种方式的融合 ， 同一资源分区的相同I/O数据（例如同一块磁盘上的数据）通过哈希运算尽量在相同服务节点缓存 ， 只有在服务节点负载过大或者非同一资源分区时 ， 同一块I/O数据才缓存分布在多服务节点 。


推荐阅读


上一篇：一郎科技|我帮小米修改了一页PPT，看完小米十周年演讲

下一篇：辣妹盘点酱|基于苹果-谷歌API开发：美三个州宣布推新冠接触者追踪应用