本地模型启动失败排查 AI栈

本地模型启动失败时，按日志第一条报错排查模型路径、文件完整性、显存内存、端口占用和启动参数，并用最少参数复现，避免只盯最后一行。
AI 开发 调试工具 模型部署
Alexer 发布于 
19 0

Embedding 接口调用 AI栈

Embedding 接口把文本转成向量，供语义搜索与 RAG 召回使用。文中给出兼容 OpenAI 格式的最小调用示例，说明批量提交、按 index 对齐返回顺序，以及长文本切块、换模型后必须整库重算两个常见坑。
AI 开发 RAG 模型部署
Alexer 发布于 
14 0

输出被截断怎么处理 AI栈

输出被截断先看响应里的 finish_reason：为 length 说明 max_tokens 太小，为 stop 说明 stop 参数和正文撞了，提示上下文超限则要裁短输入或分段生成。示例给出了一次调用并打印结束原因的最小写法，同时提醒别漏算输入加输出的总长度、别乱传短符号当 stop。
AI 开发 调试工具 模型部署
Alexer 发布于 
13 0

Embedding 向量概念 AI栈

Embedding 是把文本变成固定长度向量，意思接近的文本向量也接近。用法是文本转向量、存库、查询时算余弦相似度取最相似的几条。示例给出可直接运行的余弦相似度计算，并点出换模型必须重建索引、长文本要先切块两个坑。
AI 开发 RAG 模型部署
Alexer 发布于 
19 0
blogger
Alexer
这家伙很懒，什么也没留下...

最新评论

链接

搜索