新闻资讯

三节点破百万IOPS！揭秘浪潮云海超融合如何实现极致存储性能？

2023年5月，浪潮云海正式发布新一代InCloud Rail G7系列超融合一体机，新品基于全栈RDMA协议进行软硬件一体化设计，内置InCloud dSAN超融合存储组件，结合全新软硬件架构，为新时代用户云化应用提供充沛的性能保障。

本文将详细解读InCloud dSAN赋予新一代InCloud Rail G7系列超融合一体机的优异性能。

InCloud dSAN软件定义存储面向新场景的优化设计，以助力用户适应私有云、大数据、高性能应用、云原生、云边协同等用户应用场景多元化，尤其在当下，NVMe已经成为新一代数据中心建设中重要组成，其性能、功耗和密度相较于传统磁盘设备都有着显著的优势。如何在分布式存储软件栈中通过多CPU处理器和多NVMe存储达到每秒数百万次的IO读取是一个极大挑战。为此，浪潮云海研发并推出新一代软件定义存储技术InCloud dSAN，助力超融合存储IO飞速提升。

全新软件设计框架，发挥新一代硬件多核CPU和NVMe硬盘的能力浪潮云海InCloud Rail G7系列超融合一体机在硬件平台上升级了CPU、NVMe硬盘的能力。常规的设计框架系统由于CPU中断，NVMe内核上下文切换，在高性能的硬件平台上，中断意味着时延的不确定性，极大影响性能。InCloud dSAN在软件设计框架中摒弃了传统系统中Epoll和多线程的技术，采用了全异步、无锁化的编程框架，基于SPDK (Storage Performance Development Kit)高性能存储开发套件，引入Reactor、Thread、Poller的三层逻辑抽象，以轮询、异步化、无锁的编程思想，减少存储软件栈的性能损耗，充分发挥NVMe、RDMA网卡等高性能硬件的性能：•轮询：将InCloud dSAN系统的网络、磁盘、管理等模块设计为三个Reactor，分别以轮询的方式监测任务事件，驱动分布式存储中I/O的流程运转；•异步：设计异步的编程框架，解决协议层（TCP、RDMA）、磁盘I/O的阻塞和并发操作，充分发挥多核性能；•无锁化：引入DPDK (Data Plane Development Kit)数据层面开发套件中的rte_ring库，通过合理规划业务模块，减少多线程编程下的共享资源交互，减少锁资源的竞争。



全新链路传输技术，发挥多种组网形态在全栈RDMA数据传输链路中，InCloud dSAN主要利用RDMA零拷贝的特性来降低时延。为了减少整个链路中的性能损耗，整个IO传输链路从虚拟机使用libiser将虚拟机内部数据发送到InCloud dSAN协议层，经过协议解析后将数据发送到核心层，核心层主要负责副本数据存储位置和业务状态管理，后将业务数据发送到存储引擎和Gateway网络转发。设计方案的特点如下：




•整个IO传输链路都是在用户态进行，不经过内核态的数据上下文切换；•在协议层接收数据使用大页内存存放业务数据，内存数据在申请后不经过内存拷贝，发送到存储引擎和远端副本节点；•RDMA链路传输支持RoCEv2和iWARP多种协议；•支持全无损网络、10G网络组网，搭配通用万兆交换机、无损网络交换机和RDMA专用网卡等；•搭配SmartFlow网络加速和浪潮网络交换机，可卸载iSER存储协议解析，同时整套环境部署时间减少50%，超融合扩容时间也缩短80%。全新存储引擎，发挥Gen4 NVMe硬盘性能随着NVMe硬盘技术快速发展，NVMe硬盘性能提升数倍，这也对分布式存储中的存储引擎提出极大的挑战，因此，在设计存储引擎需要考虑可靠性、性能等能力。在可靠性方面，InCloud dSAN设计Meta、Journal、Data不同的区域，同时设计专用的Log Sequence版本号，实现数据的一致性检查。在性能方面，InCloud dSAN支持全闪和混闪不同的场景，支持NVMe、PMEM、Sata SSD、HDD等不同硬盘。在NVMe场景下，由于新型硬件性能越来越好，InCloud dSAN没有使用文件系统，而是在裸盘上实现元数据管理、数据分配和I/O调度等逻辑，避免文件系统的写放大问题。



结语：三节点百万IOPS背后的核心技术，是浪潮云海超融合一体机一直坚持的软硬协同技术理念。基于这一理念，搭载集“高密度、高性能、一体化”于一身的新一代InCloud Rail G7系列超融合一体机，内置InCloud dSAN和InCloud SmartFlow系统软件，基于轮询和异步化框架改造能够发挥CPU多核能力，同时，基于全栈RDMA链路传输的设计能够发挥网络转发能力，基于定制存储引擎发挥新一代NVMe硬盘能力。InCloud Rail G7系列超融合一体机，将为新用户云化应用提供优异性能。


结语：三节点百万IOPS背后的核心技术，是浪潮云海超融合一体机一直坚持的软硬协同技术理念。基于这一理念，搭载集“高密度、高性能、一体化”于一身的新一代InCloud Rail G7系列超融合一体机，内置InCloud dSAN和InCloud SmartFlow系统软件，基于轮询和异步化框架改造能够发挥CPU多核能力，同时，基于全栈RDMA链路传输的设计能够发挥网络转发能力，基于定制存储引擎发挥新一代NVMe硬盘能力。InCloud Rail G7系列超融合一体机，将为新用户云化应用提供极致性能。