llama.cpp 引擎

llama.cpp 仍然是当前 OmniStudio 客户端形态下最核心的后端家族之一。

特点

• 支持 GGUF 格式模型
• CPU 推理稳定，并支持多种 GPU 相关后端
• 可运行在 Windows、macOS、Linux
• 支持从 Q2_K 到 F16 的多种量化
• 具备 OpenAI 兼容 server 语义

Windows / macOS 相关 backend

• Windows：llama.cpp-cpu、llama.cpp-cuda、llama.cpp-vulkan、llama.cpp-sycl、llama.cpp-hip、llama.cpp-cpu-arm64
• macOS：llama.cpp-metal（Apple Silicon）、llama.cpp-cpu（Intel）
• Linux：llama.cpp-cpu、llama.cpp-cuda、llama.cpp-vulkan、llama.cpp-rocm

以上为新版 OmniInfer 的命令选择器；旧版本仍使用原 ID。运行目录与 Benchmark JSON 保留稳定 ID，例如 Linux 的 llama.cpp-cuda 对应 llama.cpp-linux-cuda，macOS Metal 对应 llama.cpp-mac。可用 omniinfer backend resolve llama.cpp-cuda 查询本机实际 ID。

查看当前 runtime 版本

源码仓库模式下，典型路径例如：

.\.local\runtime\windows\llama.cpp-cpu\bin\llama-server.exe --version

或在发布包中：

.\runtime\llama.cpp-cpu\bin\llama-server.exe --version

macOS 同理，可在对应 runtime 或 .local/runtime 目录下查看。