聊天使用

Chat 页面是 OmniStudio 的主工作区。它只会使用当前已经 loaded 的本机模型,或已经配置并可用的远程模型。

聊天概览

开始聊天前

先确认页面底部不是“没有模型 loaded”。如果没有可用模型:

  1. 进入 Developer Mode。
  2. 在 Runtime Models 中加载本机模型,或保存可用的 Remote Server。
  3. 回到 Chat 页面选择模型。

创建新对话

点击侧边栏顶部的新对话按钮即可创建会话。空会话没有历史上下文,适合新任务或新主题。

选择模型

模型选择

模型选择列表会显示:

  • 本机已 loaded 的模型。
  • 可用远程 Server 的模型。

如果某个模型只是已安装但没有 loaded,它不会直接出现在聊天可用模型里。先到 Runtime Models 加载它。

输入和发送消息

  • Enter:发送消息。
  • Shift + Enter:换行。
  • 点击发送按钮:提交当前内容。

发送后,模型会以流式方式输出回复。

中断生成

生成中状态

生成过程中可以点击停止按钮。已经输出的内容会保留在当前对话中。

查看响应指标

响应元数据

每条回复下方会显示常用指标:

指标 含义
TPS 每秒生成 token 数
Tokens 本次回复生成的 token 数
耗时 从请求开始到结束的时间

这些数据适合比较模型规模、量化版本和后端配置。

OmniMind

万象智维

Omni Studio 公众号二维码

公众号

Omni Studio 小红书二维码

小红书

© 2025 万象智维科技有限公司. All rights reserved.

京ICP备2025136340号-1