赵康康 个人站点-主NLP
欧洲史
开发工具
Linux
计算机软件
DL-训练
历史-欧洲史
历史-中国史
中国史
DL-公式推导
DL-算法原理
DL-工程化
DL-数据
计算机硬件
可解释性
LLM-基础
传统NLP
社会运转
训练框架
生活记录
技术报告
强化学习
🗒️硬件-NvLink
date
icon
password
Sub-item
Blocked by
Parent item
type
status
slug
summary
tags
category
Blocking
服务器分类
GPU服务器按照GPU芯片之间的互联方式可分为两类：
PCIE机型：
常规的服务器，GPU直接通过PCIE链路进行通信，受限于PCIE的带宽上限，卡与卡双向互联带宽低，不满足大模型训练需求。
Nvlink机型：
也习惯叫SXM机型，指的是在服务器内部，GPU卡之间通过Nvlink链路互联，相比PCIE带宽更高，更适合于大模型训练场景。
类型 | GPU | 通道数 | 双向互联带宽 |
PCIE互联 | A100 | PCIE 4.0 x16 | 2GBx16x2=64GB/s |
PCIE互联 | H100 | PCIE 5.0 x16 | 4GBx16x2=128GB/s |
NVLink互联 | A100 | 每个GPU链路Nvlink x12 | 25GB*12*2=600GB/s |
NVLink互联 | H100 | 每个GPU链路Nvlink x12 | 25GB*18*2=900GB/s |
cpu通过PCIE链接GPU VS GPU通过NvLink直接互联
上一篇
硬件-英伟达GPU架构史
下一篇
硬件-ARM和AMD
Loading...