适用版本:OmniStudio 0.3.1–0.3.2
文本与图文对话
发送文本消息
- 新建或打开一个会话。
- 点击输入区左下角的模型选择器。
- 选择已安装的本机模型,或已配置远程服务中的模型。
- 输入问题并发送。
选择本机模型后,OmniStudio 会按需要启动本机服务并加载模型。首次加载通常比后续发送耗时更长;加载完成前不要反复点击发送。
添加图片
只有带 Vision 能力的模型才能理解图片。视觉模型通常同时需要主 GGUF 权重和 mmproj 视觉投影文件。
- 选择带 Vision 标签的已安装模型。
- 点击输入区的 Image,在系统文件选择器中选择图片。
- 确认缩略图已经出现在输入区。
- 输入具体问题后发送。


如果图片按钮不可用,先确认当前模型具备 Vision 能力,并在 Model → Installed 中确认配套 mmproj 已安装。
回复中的信息
- Thinking:支持思考能力的模型可能展示可折叠推理过程。
- Tokens:本次生成的 token 数。
- 速度与耗时:用于判断模型是否适合当前设备。
- 停止生成:输出不再需要时可以提前停止。
不同模型的速度不能只按参数量判断,后端、量化、上下文、设备内存和加速能力都会影响结果。
数据是否离开本机
- 选择本机模型时,文本和图片默认发送给回环地址上的本机 OmniInfer 服务。
- 选择远程模型时,消息会发送到你配置的远程 Base URL。
- 打开局域网或 Public API access 会扩大本机服务的可访问范围,应配置 API Key 并只在确有需要时启用。

