在GPU模型测试和推理场景中，性能瓶颈往往不在GPU本身，而在于CPU无法及时将任务”喂”给GPU——这就是所谓的Host Bound问题。绑核（CPU Affinity）和关核（核心隔离/降核）正是解决这类问题的两大核心手段。
一、为什么需要绑核？
1.1 问题根源：跨NUMA访问的代价
现代服务器通常配置多个CPU插槽（NUMA节点），每个GPU与特定的CPU插槽存在亲和性。当CPU进程在错误的NUMA节点上运行时，它需要通过较慢的跨槽互连总线访问GPU内存，导致带宽降低、延迟增加。
以一个4×GPU的节点为例，典型的NUMA亲和性映射为：
| GPU | NUMA Domain |
| 0 | 0 |
| 1 | 0 |
| 2 | 1 |
| 3 | 1 |
如果不做绑核，MPI进程可能被调度到任意CPU核心。实验数据显示，无绑核时不同GPU间的运行时差异显著，性能极不稳定。
1.2 绑核的本质目标
绑核的核心是确保：处理GPU任务的CPU核心与目标GPU位于同一个NUMA节点，从而：
- 避免跨NUMA内存访问
- 降低任务调度开销
- 提升算子下发速度
- 减少多卡场景下的调度不齐整问题
二、绑核实战：从入门到精通
2.1 基础检查：确定GPU-NUMA亲和性
在执行绑核前，首先需要了解硬件的拓扑关系。
NVIDIA GPU：
输出示例会显示每个GPU与CPU核心之间的连接距离，距离越近性能越好。
昇腾NPU：
2.2 Slurm调度器中的绑核（HPC场景）
在使用Slurm的HPC集群中，最优绑核策略如下：
方法一：自动绑核（推荐，适用于多数场景）
方法二：手动映射（适用于复杂场景）
上面的例子中，核心0和20位于NUMA0（绑定GPU0-1），核心40和60位于NUMA1（绑定GPU2-3）。
2.3 Python多进程场景的绑核
对于使用Python多进程的训练或推理脚本，可以在代码内设置亲和性：
2.4 多卡训练的最优绑核实践
在8卡昇腾NPU场景下，以下绑核脚本可确保多卡算子调度齐整：
关键点：
--cpunodebind：将进程绑定到指定NUMA节点的CPU--membind：强制内存分配也来自同一NUMA节点- 两者同时使用才能完全避免跨节点访问
三、关核：极致的性能隔离
3.1 为什么要关核？
在极致性能追求场景中，仅仅”绑核”还不够。操作系统仍可能在被绑定的核心上调度其他系统进程，造成：
- Cache污染
- 上下文切换开销
- 不可预测的延迟抖动
关核（核心隔离） 通过从操作系统的调度器中移除某些核心，将其完全预留给你的应用。
3.2 Linux内核级关核
方法一：内核启动参数隔离（永久）
编辑 /etc/default/grub，修改 GRUB_CMDLINE_LINUX：
然后更新grub并重启：
方法二：运行时动态隔离（cpuset）
无需重启，使用cgroup的cpuset子系统：
3.3 关核后的绑核操作
隔离核心后，绑核操作需要使用这些专属核心：
3.4 关核的效果验证
通过以下命令监控核心使用情况：
四、性能收益评估框架
4.1 GPU利用率监控
绑核/关核优化的核心目标是提升GPU利用率。使用以下工具进行基准测试：
4.2 量化收益评估
| 指标 | 优化前典型值 | 优化后典型值 | 说明 |
| GPU SM利用率 | 70-85% (波动) | 90-95%+ (稳定) | 核心收益指标 |
| 算子下发延迟 | 高且不一致 | 低且稳定 | 跨NUMA访问消除 |
| 多卡调度一致性 | 差异明显 | 整齐划一 | 减少”快慢卡”问题 |
| 端到端性能 | 基线 | +6%~10% | GROMACS实测提升10% |
4.3 高级性能分析
使用Intel VTune或Nsight Systems深入分析：
通过对比绑核前后的CUDA API调用耗时，可以量化launch overhead的降低幅度。
五、快速决策指南
什么时候必须做绑核？
- ✅ 多卡训练（跨GPU通信频繁）
- ✅ 小kernel密集场景（launch overhead占比高）
- ✅ GPU利用率低于80%
- ✅ 多卡调度出现明显的”快慢卡”现象
什么时候考虑关核？
- ✅ 对延迟抖动有极致要求（实时推理）
- ✅ 性能调优已到瓶颈，需要榨干最后10%
- ✅ 多租户环境，需要隔离干扰
什么时候不必做？
- ❌ 单卡、大kernel、计算bound场景（GPU利用率已>95%）
- ❌ 临时测试环境
- ❌ 容器化部署但未配置NUMA感知
绑核和关核的本质，是在复杂的现代硬件架构中，为GPU应用”圈定”一块专属的计算领地。绑核确保CPU核心与GPU在物理上”就近”，关核则进一步确保这块领地不被”外人”打扰。两者配合使用，可以最大程度消除Host Bound瓶颈，让GPU真正跑满。
文章来自：51CTO
