浏览文档目录

首次对话

加载一个模型

最简单的方式是直接传模型目录:

./omniinfer model load -m /path/to/model-directory

对 llama.cpp-* 来说,也可以直接传主模型 GGUF:

./omniinfer model load -m /path/to/model.gguf

发起一条文本请求

./omniinfer chat --message "Introduce yourself in one sentence."

默认情况下,CLI 会流式输出结果。

如果你更想等最终完整响应,可以关闭流式模式:

./omniinfer chat --no-stream --message "Explain OmniStudio in one paragraph."

常用的下一步

./omniinfer model list
./omniinfer thinking show
./omniinfer thinking set on
./omniinfer shutdown