浏览文档目录

架构总览

OmniStudio Linux 形态可以理解为三层：

CLI 层：用户交互入口
Gateway 层：统一状态、模型与 backend 生命周期
Runtime 层：具体推理 backend

典型调用链

./omniinfer
  -> 本地 Gateway
    -> RuntimeManager
      -> llama.cpp 等 backend

为什么这样分层

CLI 保持稳定的人机界面
Gateway 统一本地 HTTP API 与后端管理
Runtime 层可以按平台和 backend 演化

Linux 当前落地重点

Linux 当前已经稳定落地的主路径，仍然是围绕 llama.cpp 系列 backend 展开。