MODEL HUB自托管 · 单 owner

控制面 · 非推理网关

所有项目要跑的模型,收进同一个控制面。

Model Hub 是单 owner 自托管的模型控制面:厂商凭证一次录入,五模态目录统一维护,模型按项目多对多分配。各项目凭 token 拉取自己的投影,然后直连厂商——推理流量从不经过 hub。

5 模态同录一册M:N 模型↔项目分配304 ETag 投影,304 缓存

核心能力

hub 真正做的四件事

其余的一切——推理、流式、计费——都留在各项目内部,各归其位。

01

厂商凭证保险库

预置 Ark Plan、Ark Platform、Agnes、Anthropic、OpenAI 与 OpenSpeech。凭证以 AES-256-GCM 信封加密落库,掩码展示、可轮换,并可用 L1 连接测试验证。

02

五模态模型目录

文本、图像、视频、音频、向量五类模型同录一册:多维定价、端点与方言 adapter、LiteLLM 兼容命名;预置清单默认不勾选,strict overlay 生效。

03

分配与预算

模型与项目多对多分配,支持 primary/fallback 角色、项目内 alias 与日预算。超预算的调用自动切到 fallback、触发熔断,或由 kill switch 终止。

04

下发与韧性

项目用 Bearer token 拉取 GET /pub/v1/models,revision 搭 ETag 与 304;0600 本地缓存兜底,hub 宕机时项目照常运行。

边界

是控制面,不是网关。

hub 只决定项目能用哪些模型并下发投影,从不坐在请求链路上。

  • 推理流量不经过 hub
  • 不做流式中转,不做集中扣费
  • 终端用户的 BYOK 留在各项目内,hub 不感知、不触碰
  • usage 仅回传用于记账与预算

工作流

从一把凭证到一个在跑的项目

六步,每步可审计——owner 的项目群现在就跑在这条回路上。

  1. 01

    录入厂商凭证

    凭证加密落库,用 L1 连接测试验证可用。

  2. 02

    维护模型目录

    跨五模态启用模型,配好定价、端点与方言 adapter。

  3. 03

    注册项目

    每个项目拿到一把哈希存储的 token——明文只展示一次。

  4. 04

    带护栏分配

    多对多、角色、alias、日预算;整批保存,revision 自增。

  5. 05

    拉取并运行

    model-kit 拉取投影(ETag/304)、0600 缓存兜底、直连厂商推理,并把 usage 回传。

  6. 06

    盯看板

    按 项目 × 来源 × 天 × 模型 看成本,看预算水位,跑 L1–L4 健康检查。

管理台

真实的运营界面,不是效果图

七个页面覆盖全生命周期——厂商、目录、项目、分配、成本与知识——用的正是 hub 自己出厂的 console-ui 令牌。

model-hub · 管理台
总览厂商模型项目分配成本知识

GET /pub/v1/usage/summary —— 真实响应结构

{
  "project": "zeus",
  "day": "2026-10-31",
  "models": [
    {
      "alias": "noul",
      "role": "primary",
      "model": "doubao-seed-1-6-250615",
      "spent_micros": 420000,
      "daily_budget_micros": 1000000,
      "percent": 42
    }
  ],
  "unassigned_spent_micros": 0
}

适用场景

为一个 owner 跑多个项目而生

不是多租户 SaaS,而是单操作员的控制面,服务一群共享厂商与预算的项目。

同时在跑多个 AI 项目

zeus、loom、atlas、agent-world、job-agent 已经在从同一个 hub 读取模型配置。

换模型不用重新部署

改分配、bump revision——项目在下一个刷新周期自动拿到新投影。

要护栏,不要账单惊吓

按分配设日预算,fallback 路由加 kill switch;BYOK 流量只计量、不计费。

默认自托管

单 owner、docker compose 一键起、绑定 127.0.0.1——按内网或 Tailscale 暴露设计,Caddy 终止 HTTPS。

把模型控制面跑在你自己的机器上

一个 compose 文件拉起 hub、管理台,以及保留 7 天的备份 sidecar。

docker compose up --build   # 绑定 127.0.0.1:8791