解决数据瓶颈问题 NVIDIA发布Magnum IO套件

2019年11月18日，NVIDIA发布NVIDIA Magnum IO软件套件。该产品让数据科学家及AI和高性能计算研究者可以在数分钟内处理好以往需要数小时才能处理完毕的海量数据。

Magnum IO专为解决存储和输入/输出（I/O）遇到瓶颈这一问题进行了优化。优化之后，执行财务分析、气候建模等复杂的、需要处理大量数据集的高性能计算工作负载时，多服务器、多GPU计算节点的数据处理速度比之前提高了20倍。

Magnum IO是NVIDIA与众多网络和存储行业领导企业（包括DataDirect Networks、Excelero、IBM、Mellanox和WekaIO）密切合作的成果，。

NVIDIA创始人兼首席执行官黄仁勋表示：“AI等数据驱动型科学的核心是处理大量的数据，这些数据可能是收集来的，也可能是模拟的。然而，随着数据的规模和速度呈现指数级的增长，数据处理本身已成为数据中心所要面临的最大挑战，同时也是最主要的成本之一。”

他还表示：“顶级的计算需要顶级的I/O。Magnum IO能够为I/O与存储带来具有革命性计算性能的NVIDIA GPU加速。现在，AI研究者和数据科学家可以专心完成自己的工作，无需再等待数据。”

Magnum IO的核心是GPUDirect。它为数据提供了一条路径，这条路径可以绕过CPU，而在GPU、存储和网络设备所提供的“开放式高速公路”上进行传输。GPUDirect由点对点和RDMA组件组成，兼容多种通信互联产品与API，包括NVIDIA NVLink?和NCCL以及OpenMPI和UCX。

其最新组件GPUDirect Storage使研究者能够在访问存储时绕过CPU，快速访问用于模拟、分析或可视化的数据文件。

NVIDIA Magnum IO软件现已上市，但GPUDirect Storage仅为部分用户提供了早期访问权限。NVIDIA计划在2020年上半年向所有客户提供GPUDirect Storage。

生态合作伙伴的支持

“最新的HPC和AI研究依靠的是海量的数据，其数据规模通常都超过PB级，因此需要更高级的领先技术才能最有效地应对这一挑战。DDN使用NVIDIA的Magnum IO软件套件以及我们的并行EXA5存储结构开辟新的直接数据路径，使GPU在高带宽下可以直接访问PB级数据存储。这种方法在以前是不可能实现的。”

——DDN首席研究官，Sven Oehme

“如今，顶尖的HPC和AI研究者们所需要访问的数据量都在持续大幅增加，因此I/O已成为许多研究者亟待解决的挑战。IBM Spectrum Scale专为需要AI加速和运行数据密集型工作负载的企业机构设计。同时使用IBM Spectrum Scale和NVIDIA GPU加速可以帮助客户缓解I/O瓶颈问题，让客户能够更快地从数据中获取所需的信息。”

——IBM存储产品管理副总裁，Sam Werner

“顶尖的HPC和AI研究者们选择Mellanox为他们提供最先进的技术，从而能够尽可能高效、快速地传输和处理海量数据。我们一直与NVIDIA保持合作，确保Magnum IO与Mellanox最新的InfiniBand和以太网互联解决方案实现无缝协作，一起帮助我们共同的客户克服数据瓶颈问题，推动客户的科学、研究和产品开发活动进程。”

—— Mellanox Technologies软件架构高级副总裁，Dror Goldenberg