
KServe 是面向 Kubernetes 的开源模型推理框架,适合统一部署和管理模型推理服务。

| 功能 | 实际用法 |
|---|---|
| 模型运行 | 依据文档定义可用的模型服务和运行环境 |
| 资源配置 | 按容量核对集群、GPU 与并发 |
| 监测服务 | 通过使用记录验证版本、延迟和错误 |
| 产品 | 适用情形 |
|---|---|
| KServe | 已有 Kubernetes 并需要模型推理服务 |
| OVHcloud AI Deploy | 倾向托管运行容器 |
| Baseten | 偏好供应商托管模型推理 |
官方项目采用 Apache 2.0。Kubernetes、计算、存储及支持费用按实际资源核对。
用开放数据测试一个分类服务并验证不同批次请求的延迟。
依据模型格式和所用 ServingRuntime 核对。
框架使用按许可证,运行 K8s、网络和硬件产生各自费用。