拿到GPU机器先别跑业务:验收就跑这五项
租到或买到 GPU 机器,第一件事不是跑业务,而是做一轮验收。很多问题(掉卡、掉速、网络抖动)要等训练跑到一半才爆,那时候损失已经发生了。 顺序上可以跑这五项。一是硬件状态:用 nvidia-smi 看所有卡是否都能识别、显存与 ECC 是否正常、有没有降频记录,再跑一遍厂商自带的诊断工具。二是卡间互联:跑一次 NCCL 带宽测试,看 all-reduce 带宽是否接近这台机器的理论值,多机还要测跨机。三是存储 IO:顺序读写和随机读写各测一遍,数据密集的训练里磁盘常常是第一个瓶颈。四是网络:测跨节点延迟与带宽,观察丢包和抖动,RDMA 环境要确认链路速率与错误计数。五是长稳:空载和满载各跑几小时,盯温度、功耗、降频和错误日志——很多「跑着跑着变慢」都是这一步漏了。 验收记录要留档,写清时间、型号、测试项和结果,后面和供应商沟通时就是证据。
还没有跟帖,欢迎写下第一条。