本地模型启动失败排查

Alexer 发布于 阅读:18 AI栈

本地模型启动失败排查,就是模型在自己机器上跑不起来时,按错误信息把路径、显存、端口、启动参数逐项排掉。

先看日志第一条报错,确认模型目录里有配置和权重文件;再查显存或内存够不够、端口有没有被占用;接着把启动参数减到最少再试。

# 1. 确认模型目录和关键文件
ls -lh /path/to/model

# 2. 看显存占用;没有独显就跳过
nvidia-smi

# 3. 看端口是否被占用,比如 8000
ss -ltnp | grep 8000

新手常踩的坑:只盯最后一行报错,真正原因往往在前面;模型文件没下全或路径写错,日志里也会表现为加载失败,别一上来就怀疑参数。

AI 开发 调试工具 模型部署