赵康康 个人站点-主NLP
欧洲史
开发工具
Linux
计算机软件
DL-训练
历史-欧洲史
历史-中国史
中国史
DL-公式推导
DL-算法原理
DL-工程化
计算机硬件
可解释性
LLM-基础
传统NLP
社会运转
训练框架
Benchmark
生活记录
技术报告
强化学习
🗒️硬件-英伟达GPU架构史
date
icon
password
Sub-item
Blocked by
Parent item
type
status
slug
summary
tags
category
Blocking
2010-2022
kepler到Maxwell变化非常大
Maxwell到帕斯卡，变化不大，只是从28纳米换到了16纳米finfet工艺，规模提高了
费米架构
开普勒、麦克斯韦
帕斯卡
伏特架构
图灵
安培
重点：BF16
Hopper
CUDA core VS Tensor COre
区别项 | CUDA Core | Tensor Core |
出现时间 | 2010年 费米架构 | 2017年 伏特架构 |
出现背景 | 科学计算迅速发展，为了使用GPU的高算力，科学家需要将科学计算任务适配成图形图像任务 | AI迅速发展，对矩阵乘法的算力需求不断增大，有厂商提出TPU概念 |
设计目的 | 将高并发浮点计算能力暴露给科学计算领域，加速科学计算，占领科学计算市场 | 定制性争强矩阵计算能力（AI算力），融入CUDA生态，抢占人工智能计算所需要的算力高地 |
计算任务类型 | 浮点加、乘、乘加运算 | 矩阵乘法运算 |
计算精度 | IEEE-754 标准的float精度 | 强调低精度:fp16/fp8/int8/int4/b1 |
SM上的装配数目 | *128 | *4 |
调度粒度/执行粒度 | warp-level/thread-level | warp-level/warp-level |
上一篇
计算机硬件
下一篇
硬件-NvLink
Loading...