L6.3 平台级治理与架构模式
三维坐标
layer: L6(应用架构)|level: Senior/Architect|pillar: 训推框架当一个推理平台从「服务一个团队」长成「服务整个公司」,技术挑战就从性能转向治理:如何让 50 个互不信任的团队共享同一片 GPU 集群,既不互相踩踏、又能精确计费、还要满足审计合规?本文讲清平台级治理的四块基石——多租户隔离、审计合规、零信任安全 、架构师技术领导力。
学习目标
- 前置知识:读过 L6.1(RAG 检索增强生成,理解一次问答要穿过检索→rerank→LLM 的多段链路)、L6.2(Agent 与多步推理,理解一个入口背后可能触发多模型、多工具的编排);以及 L5 治理篇(可观测性、SLO、限流的基础概念)。会写基础 Python、看得懂 YAML、知道 Kubernetes 里
namespace/RBAC 大致是什么即可,无需安全或合规背景。 - 学完产出:① 能说清平台治理的三个工业化命题——谁能用(鉴权/RBAC)、能用多少(配额/Quota)、用了什么(审计/Audit),并解释为什么单租户时它们都不存在、多租户时它们都变成生产事故;② 能画出多租户隔离的「逻辑 → 资源 → 硬件」三层纵深,说清每层的强制者(软件 vs GPU 固件)与各自防住的攻击;③ 能讲清一次跨租户请求穿过零信任平台时要经过哪几道显式策略关卡,理解「默认拒绝、任何一关失败就在数据面被拒」的设计;④ 能区分硬配额(HTTP 429 拒绝)与软配额(可突破但优先被抢占)两种语义,并说清审计为何「必须把 DENY 当一等公民」;⑤ 亲手跑一个纯 CPU 的 mock 推理网关,构造越权请求(超配额、跨租户、无权限角色、未知租户)验证它们全部被逐关拦截并落审计。
- 阅读姿势:盯住一条主线——平台治理的一切,都是在「共享基础设施」与「租户隔离」这对天然矛盾之间,用策略(Policy)而非人工划边界。无论是 MIG 把显存切到硅片层,还是网关逐关校 验后才放行,本质都在回答同一个问题:怎么让互不信任的租户安全地共用同一片 GPU,且每一次越界都被显式策略挡下、留痕、可追溯。
背景与现状
平台级治理(Platform Governance) 的本质,是在「共享基础设施」与「租户隔离」这对天然矛盾之间,用策略(Policy)而非人工划出边界。它要回答三个工业化问题:谁能用(鉴权/RBAC)、能用多少(配额/Quota)、用了什么(审计/Audit)。
当平台只服务一个团队时,这三个问题都不存在——大家互相信任、资源随便抢。但一旦走向多租户,每个问题都会变成生产事故的根源:
- 没有隔离:某团队一个失控的压测脚本,把整个集群的 GPU 显存吃光,全公司的推理服务雪崩。这就是经典的 「吵闹邻居(Noisy Neighbor)」 问题。
- 没有配额:月底账单出来,财务发现 GPU 成本超支 300%,却无法归因到具体团队——成本无法治理。
- 没有审计:安全合规审查时,无法回答「上周三谁调用了那个涉密模型」——合规直接挂掉。
从产业演进看,平台治理的成熟度可以分三个阶段:
- 裸奔期:用
namespace做软隔离,配额靠 Excel 人工登记,出事靠人盯——绝大多数自建平台的起点。 - 策略化期:引入 Kubernetes ResourceQuota + RBAC、NVIDIA MIG/vGPU 硬件分区,配额与 权限变成声明式 YAML,由控制面强制执行。
- 零信任期:默认不信任任何租户,最小权限 + mTLS 双向认证 + 全链路审计,每一次跨租户访问都被显式策略校验——这是金融、医疗等强合规场景的终态。
业界信号:NVIDIA 的 MIG(Multi-Instance GPU) 能把一块 A100/H100 在硬件层切成最多 7 个互相隔离的实例,每个实例有独立的显存、L2 缓存与计算单元——这说明「隔离」已经从软件下沉到硅片。云厂商(AWS Bedrock、Azure OpenAI)的多租户隔离与审计能力,正是其相对自建平台的核心竞争力。
原理与架构
理解平台治理,关键是看清一次跨租户请求要穿过多少道「策略关卡」,以及这些关卡分别由软件还是硬件强制执行。
2.1 多租户隔离的三个层次
隔离不是单点能力,而是从逻辑 → 资源 → 硬件层层加固的纵深防御:
| 层次 | 隔离手段 | 强制者 | 防住的攻击 |
|---|---|---|---|
| 逻辑隔离 | namespace / tenant_id 标签、网络策略 | 控制面(软件) | 误访问、命名冲突 |
| 资源隔离 | ResourceQuota(CPU/显存/QPS 配额) | 调度器(软件) | 吵 闹邻居、配额超支 |
| 硬件隔离 | MIG / vGPU / SR-IOV 物理分区 | GPU 固件(硬件) | 显存侧信道、跨实例数据泄露 |
核心在于:软件隔离防的是「无意的越界」,硬件隔离防的是「有意的攻击」。强合规场景下,仅靠 namespace 是不够的——同一块物理 GPU 上的两个容器,理论上存在显存残留与侧信道风险,必须靠 MIG 把显存与计算单元在硅片层物理切开。
2.2 零信任 AI 基础设施的请求穿越路径
下图是一个零信任多租户推理平台的完整架构——注意每一道箭头都对应一次显式的策略校验:
按编号读这张图:客户端用 mTLS 双向证书 + JWT 接入网关 → 网关向 RBAC 引擎校验「这个身份能不能调这个模型」→ 向配额管理器校验「这个租户还有没有额度」→ 把这次访问写入审计总线 → 校验全部通过后才注入 tenant_id 转发给调度器 → 调度器按租户绑定,把请求只路由到该租户专属的 MIG 硬件实例。任何一关失败,请求在数据面就被拒,根本到不了 GPU。