长序列任务常受显存容量限制，只能使用较小批量；此时看到加速卡利用率偏低，不一定代表设备没有工作。要做好加速卡利用率低的排查与优化，先把监控读数与实际耗时对上，再按以下六项逐一对照，避免盲目增加批量或改动模型。
先确认“低利用率”指什么
利用率监控通常是采样期间设备忙碌时间的比例，不等于每个计算单元始终满载，也不直接代表任务快慢。先固定输入、模型、精度和设备，预热后连续测量一段稳定运行区间，同时记录吞吐、单步耗时、显存占用和利用率。建议比较多轮结果，而非根据某一瞬间的读数下结论。
六项对照排查
1. 对照批量大小：吞吐是否随批量增加
在显存允许时，依次测试批量1、2、4等档位，保持其他条件不变。若吞吐随批量增加而明显上升，说明小批量可能不足以摊薄固定开销；若单步耗时上升、吞吐却不再增长，或显存接近上限，应回退到前一档。长序列场景不宜只追求最大批量。
2. 对照有效长度：填充是否浪费计算
把同一批样本按长度分组，与混合长度的批次比较。可计算有效 token 数除以“批量×填充后的最大长度”，估算填充比例；比例越低，越多计算可能花在补齐位置上。按长度分桶或使用动态填充，通常比单纯扩大批量更稳妥，但要确认不会破坏样本顺序或任务逻辑。
3. 对照计算耗时：启动开销是否占比过高
小批量会让一些短操作变得不划算：设备端计算很快，但频繁启动算子、提交任务也要时间。用性能分析工具查看时间线，观察是否出现大量短小操作及其间隙。若主要耗时集中在启动和调度，可评估算子融合、减少不必要的逐样本操作；若长计算段已连续执行，则这项通常不是首要瓶颈。
4. 对照数据供给：输入是否及时到达
检查读取、解码、分词或特征整理是否与设备计算串行发生。先用已准备好的小批数据做对照：若设备忙碌程度和吞吐明显改善，问题更可能在数据管线。再逐项检查存储读取、工作进程数量、预取和数据传输；不要只增加工作进程，过多进程也可能造成内存争用或调度开销。
5. 对照显存访问：算力是否被带宽限制
长序列会增加中间状态与读写量。若利用率不高但显存带宽接近设备能力，或分析结果显示大量时间用于读写，瓶颈可能是内存访问，而非算力不足。可比较减少不必要的张量复制、缩短中间结果生命周期前后的耗时；同时确认优化没有引入额外重算或精度变化。
6. 对照等待时间：同步和通信是否打断执行
在单卡与多卡、同步开启与减少不必要同步的条件下分别测量。若时间线上反复出现等待，检查设备间传输、主机端取回结果、频繁同步或负载不均。多卡任务还应确认每张卡拿到的有效样本数相近；小批量下固定通信开销占比可能更高，增加设备数未必带来同比例加速。
按证据选择优化顺序
- 先固定测试条件，记录吞吐、延迟、显存与利用率，确保比较公平。
- 依次做批量、长度分组、预备数据、单卡等对照，每次只改变一个因素。
- 依据时间线定位最大耗时段，再选择减少填充、改善数据供给或降低同步等措施。
- 复测完整任务的吞吐与稳定性；若只提升监控读数，却没有改善实际耗时，不应视为有效优化。
因此，加速卡利用率低的排查与优化应从“哪里在等、哪里在浪费”出发。对长序列小批量任务，批量扩展不是唯一答案；确认填充、启动、数据供给和显存访问的真实占比，才能选对改动并验证收益。
常见问题
利用率低就一定需要加大批量吗？
不一定。若瓶颈在数据读取、内存访问或同步，增加批量可能只会增加显存压力。
为什么利用率读数波动很大？
短任务、采样间隔和任务间空档都会影响读数。应在稳定运行区间多轮测量，并同时看吞吐与耗时。
长度分桶会改变模型结果吗？
通常只是改变样本组批方式，但需保持标签对应、掩码和必要的样本顺序处理正确，再做结果校验。
多卡能直接解决小批量低利用率吗？
不能保证。通信和同步会增加固定开销，应先对照单卡与多卡的端到端耗时和吞吐。
