OpenAI 兼容接入

OmniStudio / OmniInfer 提供 OpenAI 兼容接口，适合把本机或远程模型接入已有应用、脚本、IDE 插件和 agent 工作流。

Base URL

本机默认地址：

http://127.0.0.1:19157/v1

Public API access 或远程 Server 示例：

https://example.trycloudflare.com/v1

如果你的应用已经支持 OpenAI SDK，通常只需要替换：

base_url
api_key
model

调用前检查

建议先检查服务状态：

curl http://127.0.0.1:19157/health

然后确认模型已经 loaded。PC 客户端中可在 Developer Mode 的 Runtime Models 查看。

Python 示例

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:19157/v1",
    api_key="oi_your_api_key_or_local_placeholder",
)

response = client.chat.completions.create(
    model="Qwen3.5-4B-Q4_K_M",
    messages=[{"role": "user", "content": "用三句话介绍 OmniStudio"}],
)

print(response.choices[0].message.content)

Curl 示例

curl http://127.0.0.1:19157/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer oi_your_api_key" \
  -d '{
    "model": "Qwen3.5-4B-Q4_K_M",
    "messages": [{"role": "user", "content": "hello"}],
    "stream": true
  }'

注意事项

本机模型需要先 loaded，不能只下载安装到磁盘。
Remote Server 的 /v1 不要手动删除；如果服务本身要求 /v1，请保留完整 Base URL。
Public Base URL 是临时地址，重启隧道后应重新读取。
生产或公网场景不要使用空 API Key。