厂商凭证保险库
预置 Ark Plan、Ark Platform、Agnes、Anthropic、OpenAI 与 OpenSpeech。凭证以 AES-256-GCM 信封加密落库,掩码展示、可轮换,并可用 L1 连接测试验证。
控制面 · 非推理网关
Model Hub 是单 owner 自托管的模型控制面:厂商凭证一次录入,五模态目录统一维护,模型按项目多对多分配。各项目凭 token 拉取自己的投影,然后直连厂商——推理流量从不经过 hub。
核心能力
其余的一切——推理、流式、计费——都留在各项目内部,各归其位。
预置 Ark Plan、Ark Platform、Agnes、Anthropic、OpenAI 与 OpenSpeech。凭证以 AES-256-GCM 信封加密落库,掩码展示、可轮换,并可用 L1 连接测试验证。
文本、图像、视频、音频、向量五类模型同录一册:多维定价、端点与方言 adapter、LiteLLM 兼容命名;预置清单默认不勾选,strict overlay 生效。
模型与项目多对多分配,支持 primary/fallback 角色、项目内 alias 与日预算。超预算的调用自动切到 fallback、触发熔断,或由 kill switch 终止。
项目用 Bearer token 拉取 GET /pub/v1/models,revision 搭 ETag 与 304;0600 本地缓存兜底,hub 宕机时项目照常运行。
边界
hub 只决定项目能用哪些模型并下发投影,从不坐在请求链路上。
工作流
六步,每步可审计——owner 的项目群现在就跑在这条回路上。
凭证加密落库,用 L1 连接测试验证可用。
跨五模态启用模型,配好定价、端点与方言 adapter。
每个项目拿到一把哈希存储的 token——明文只展示一次。
多对多、角色、alias、日预算;整批保存,revision 自增。
model-kit 拉取投影(ETag/304)、0600 缓存兜底、直连厂商推理,并把 usage 回传。
按 项目 × 来源 × 天 × 模型 看成本,看预算水位,跑 L1–L4 健康检查。
管理台
七个页面覆盖全生命周期——厂商、目录、项目、分配、成本与知识——用的正是 hub 自己出厂的 console-ui 令牌。
GET /pub/v1/usage/summary —— 真实响应结构
{
"project": "zeus",
"day": "2026-10-31",
"models": [
{
"alias": "noul",
"role": "primary",
"model": "doubao-seed-1-6-250615",
"spent_micros": 420000,
"daily_budget_micros": 1000000,
"percent": 42
}
],
"unassigned_spent_micros": 0
}适用场景
不是多租户 SaaS,而是单操作员的控制面,服务一群共享厂商与预算的项目。
zeus、loom、atlas、agent-world、job-agent 已经在从同一个 hub 读取模型配置。
改分配、bump revision——项目在下一个刷新周期自动拿到新投影。
按分配设日预算,fallback 路由加 kill switch;BYOK 流量只计量、不计费。
单 owner、docker compose 一键起、绑定 127.0.0.1——按内网或 Tailscale 暴露设计,Caddy 终止 HTTPS。
一个 compose 文件拉起 hub、管理台,以及保留 7 天的备份 sidecar。
docker compose up --build # 绑定 127.0.0.1:8791