Introduction

一、CUDA简介

1.1 GPU硬件平台

• GPU 数据运算

• CPU 逻辑运算

• GPU性能指标

  1. 核心数

  2. GPU显存容量

  3. GPU计算峰值

  4. 显存带宽

1.2 CPU+GPU异构架构

CPU起到控制作用，一般称为主机（host）

GPU可以看作是CPU的协处理器，一般称为设备（device）

主机和设备之间内存访问一般通过PCIe总线链接，PCIe传输较慢，对于小任务瓶颈是IO

1.3 CUDA介绍

建立在GPU上的一个通用并行计算平台和编程模型

CUDA提供两层API接口，CUDA驱动（driver）API和CUDA运行时（runtime）API，两种API调用性能几乎无差异，runtime API对用户更友好（C/C++），driver API（汇编）

二、nvidia-smi

在这里插入图片描述

1. nvidia-smi版本号
2. 驱动版本
3. CUDA版
4. GPU型号及序号
5. 风扇
6. 温度
7. Perf：性能状态，P0~P12
8. Persistence-M：持续模式状态
9. Pwr：显卡功率
10. Bus-Id：显卡总线
11. Disp.A：Display Activate，表示GPU是否初始化
12. Memory-Usage：显存使用率
13. Volatile GPU-Util：GPU使用率
14. ECC：是否开启错误检查和纠错技术，0：disabled，1：enabled
15. Compute M：计算模式

查询GPU详细信息：nvidia-smi -q

查询特定GPU详细信息：nvidia-smi -q -i 0

显示GPU特定信息：nvidia-smi -q -i 0 -d MEMORY

帮助命令：nvidia-smi -h