在快速发展、不断发展的人工智能(AI) 领域，NVIDIA DGX GH200 成为创新的灯塔。这个强大的系统在设计时考虑了最苛刻的人工智能工作负载，是一套完整的解决方案，旨在彻底改变企业处理生成式人工智能的方式。NVIDIA 提供了新的详细信息，展示了 GH200 如何结合在一起，并通过这种最新一代 GPU 技术实现 AI 性能的巅峰。

NVIDIA DGX GH200：完整的解决方案

DGX GH200 不仅仅是一款精美的机架硬件;它还是一款出色的机架硬件。它是一个将高性能计算 (HPC) 与人工智能相结合的综合解决方案。它旨在处理最复杂的人工智能工作负载，提供真正无与伦比的性能水平。

DGX GH200 将完整的硬件堆栈(包括 NVIDIA GH200 Grace Hopper Superchip、NVIDIA NVLink-C2C、NVIDIA NVLink 交换机系统和 NVIDIA Quantum-2 InfiniBand)整合到一个系统中。NVIDIA 通过专门为加速模型开发而设计的优化软件堆栈来支持这一切。

NVIDIA GH200 Grace Hopper 超级芯片规格

NVIDIA Grace Hopper Superchip 配备扩展 GPU 内存 (EGM) 功能，旨在处理具有大量内存占用的应用程序，这些内存占用大于其自己的 HBM3 和 LPDDR5X 内存子系统的容量。此功能允许 GPU 从系统中的所有 CPU 和 GPU 访问高达 144TB 的内存，并可以以 LPDDR5X 速度进行数据加载、存储和原子操作。EGM 可与标准 MAGNUM IO 库配合使用，并且可由 CPU 和其他 GPU 通过 NVIDIA NVLink 和 NVLink-C2C 连接进行访问。

NVIDIA 表示，NVIDIA Grace Hopper Superchip 上的扩展 GPU 内存 (EGM) 功能通过提供巨大的内存容量，显着增强了大型语言模型 (LLM) 的训练。这是因为法学硕士通常需要大量内存来存储其参数、计算和管理训练数据集。

能够从系统中的所有 CPU 和 GPU 访问高达 144TB 的内存，可以更高效地训练模型。大内存容量应该会带来更高的性能、更复杂的模型，以及处理更大、更详细的数据集的能力，从而有可能提高这些模型的准确性和实用性。

NVLink 开关系统

随着大型语言模型 (LLM) 的需求不断突破网络管理的界限，NVIDIA 的 NVLink 交换机系统仍然是一个强大的解决方案。该系统利用第四代 NVLink 技术和第三代 NVSwitch 架构的强大功能，为 DGX GH200 系统中令人印象深刻的 256 个 NVIDIA Grace Hopper 超级芯片提供高带宽、低延迟连接。结果是惊人的 25.6 Tbps 全双工带宽，标志着数据传输速度的大幅飞跃。

在 DGX GH200 系统中，每个 GPU 本质上都是一个爱管闲事的邻居，能够刺探 NVLink 网络上其他 GPU 的 HBM3 和 LPDDR5X 内存。与 NVIDIA Magnum IO 加速库相结合，这个“爱管闲事的邻居”可以优化 GPU 通信，有效地扩展并加倍降低有效网络带宽。因此，虽然你的法学硕士培训正在增压，沟通费用也在增加，但人工智能操作正在得到涡轮增压。

DGX GH200 中的 NVIDIA NVLink 开关系统能够通过促进大量 GPU 之间的高带宽、低延迟连接，显着增强 LLM 等模型的训练。这使得 GPU 之间的数据共享更快、更高效，从而提高模型的训练速度和效率。此外，每个 GPU 都能够从 NVLink 网络上的其他超级芯片访问对等内存，从而增加了可用内存，这对于大参数 LLM 至关重要。

虽然 Grace Hopper 超级芯片令人印象深刻的性能无疑是人工智能计算领域的游戏规则改变者，但该系统的真正魔力发生在 NVLink，其中跨多个 GPU 的高带宽、低延迟连接可实现数据共享和效率达到一个全新的水平。