推理平台选型检查清单

#从负载开始

推理平台选型应从请求形态和服务目标开始，而不是从框架流行度开始。交互式生成、离线批处理、Embedding 和多模态模型需要不同的调度与扩缩容策略。

#核心评估维度

1. 模型兼容：目标模型、量化格式、并行方式和自定义算子是否稳定支持。
2. 性能：首 Token 延迟、每 Token 延迟、吞吐和显存利用率是否可测。
3. 隔离：租户、模型和请求优先级能否限制资源竞争。
4. 弹性：冷启动、权重加载、容量预热和故障迁移需要多长时间。
5. 运维：版本升级、灰度、回滚、指标和请求追踪是否形成标准流程。

#架构决策清单

• 建立模型与运行时版本兼容矩阵。
• 用真实上下文长度和并发分布做容量测试。
• 将路由、鉴权、限流和内容安全留在统一推理网关。
• 为 GPU 故障、节点回收和模型加载失败设计快速回退。
• 分别定义在线延迟 SLO 与批处理完成时间 SLO。

#选型结果

最终方案应说明为什么适合当前负载、在哪些边界会失效，以及迁移到下一种运行时需要保留哪些标准接口。单次基准测试不能替代长期可运营性。