模型市场

2. 层级定位与边界

L3 模型市场是整个 AI 平台的模型资产中枢，负责管理所有模型的元数据、版本、评测结果和生命周期。它向上为 L4 模型网关和 L5 应用平台提供模型发现与查询能力，向下对接 L2 模型部署层将模型注册为推理服务。L3 不存储模型权重文件（权重由 L1 对象存储管理），也不执行模型推理（由 L2 负责）。

L3 的核心职责包括：模型资产目录管理、元数据规范、版本控制与别名映射、标准化评测引擎、模型搜索与发现、以及与 L2 的部署协调。

3. 边界规范

4. 模型分类体系

L3 将所有模型划分为三大类：开源模型（从社区获取）、自训练模型（从零开始或 Continue Pretrain）、微调模型（在基座模型上通过 SFT/RLHF/DPO 等方法微调）。每类模型有独立的注册流程和版本管理策略。

4.1 开源模型库

4.2 自训练模型

自训练模型包括平台内部从零开始训练或基于开源模型进行 Continue Pretrain 的模型。此类模型拥有完整的训练过程记录和数据溯源。

4.3 微调模型

微调模型是基于某个基座模型通过监督微调 (SFT)、强化学习 (RLHF) 或直接偏好优化 (DPO) 等方法训练得到的衍生模型。微调模型与基座模型保持强血缘关系。

5. 模型元数据标准

L3 使用统一的 JSON Schema 定义模型元数据，确保所有模型（开源、自训练、微调）以一致的结构注册和查询。以下展示完整的元数据 Schema 和一个基于 Qwen3-235B-A22B 的真实示例。

{
  "model_id": "qwen3-235b-a22b",          // 全局唯一模型标识符 (小写, 连字符)
  "name": "Qwen3-235B-A22B",              // 模型显示名称
  "description": "通义千问 3 235B-A22B 指令模型，支持 128K 上下文、多语言、Function Calling",  // 描述
  "base_model": null,                           // 基座模型 ID (null 表示非微调模型)
  "model_type": "open-source",                  // open-source | self-trained | fine-tuned
  "task_type": ["text-generation"],             // text-generation | embedding | reranker | image-generation | multimodal
  "modality": ["text"],                         // text | image | audio | video | multimodal
  "framework": "transformers",                  // transformers | vllm | tensorrt-llm | diffusers
  "owner": {
    "team": "ai-platform",
    "maintainer": "alg-team@company.com",
    "organization": "Alibaba Cloud"
  },
  "license": "Apache-2.0",                     // Apache-2.0 | MIT | Llama-3.1-Community | Gemma | custom
  "versions": [
    {
      "version": "v1.0.0",                    // SemVer: MAJOR.MINOR.PATCH
      "semver": {
        "major": 1,
        "minor": 0,
        "patch": 0
      },
      "status": "published",                    // draft | review | published | deprecated | archived
      "created_at": "2026-05-15T10:00:00Z",
      "published_at": "2026-05-20T08:00:00Z",
      "deprecated_at": null,
      "weights": {
        "source": "s3://model-weights/qwen3-235b-a22b/mlp_model_v1.0.0/",  // L1 存储路径
        "format": "safetensors",                // safetensors | pt | bin | gguf | onnx
        "quantization": "bf16",                 // bf16 | fp16 | fp8 | int4 | int8 | awq | gptq
        "size": "144Gi",                        // 权重文件总大小
        "files": 287,                           // 权重文件数量
        "checksum": "sha256:3a7f...e9b2"        // 目录级校验和
      },
      "config": {
        "model_max_length": 131072,             // 最大序列长度 (128K)
        "vocab_size": 152064,
        "hidden_size": 8192,
        "num_attention_heads": 64,
        "num_hidden_layers": 80,
        "num_key_value_heads": 8,               // GQA 配置
        "intermediate_size": 29568,
        "max_position_embeddings": 131072,
        "rope_theta": 1000000.0,
        "torch_dtype": "bfloat16"
      },
      "requirements": {
        "min_gpu_memory": 80,                   // 最小 GPU 显存 (GB)
        "recommended_gpus": 4,                  // 推荐 GPU 数量
        "recommended_gpu_type": "A100-80G",     // A100-80G | H100-80G | A800
        "recommended_tp": 4,                    // 推荐张量并行度
        "total_weights_memory": 144,            // 权重占用量 (GiB)
        "inference_memory_estimate": 256        // 推理运行总显存估计 (GiB, 含 KV Cache)
      },
      "evaluation": {
        "status": "completed",                  // pending | running | completed | failed
        "latest_report_id": "eval-20260520-001",
        "scores": {
          "mmlu": 85.3,
          "ceval": 91.2,
          "cmmlu": 89.7,
          "gsm8k": 92.1,
          "math": 76.5,
          "humaneval": 80.5,
          "mbpp": 78.3
        }
      },
      "deployments": [
        {
          "target": "production",               // production | staging | canary
          "engine": "vllm",                     // vllm | tensorrt-llm | tgi | sglang
          "endpoint": "https://api.internal/v1/chat/completions",
          "status": "running",                  // running | deploying | failed | stopped
          "deployed_at": "2026-05-20T10:00:00Z"
        }
      ]
    }
  ],
  "tags": [                                    // 标签系统
    {"key": "language", "value": "zh"},
    {"key": "language", "value": "en"},
    {"key": "capability", "value": "function-calling"},
    {"key": "capability", "value": "code-generation"},
    {"key": "domain", "value": "general"}
  ],
  "created_at": "2026-05-15T10:00:00Z",
  "updated_at": "2026-06-01T12:30:00Z"
}

5.1 元数据字段定义

6. 评测平台

L3 内置标准化评测平台，支持多种开源基准测试和业务自定义评测，为每一个模型版本生成评测报告并同步更新排行榜。

6.1 基准测试体系

业务自定义评测

安全评测

性能评测

6.2 模型排行榜

排行榜基于统一评测流水线生成，所有模型版本在相同环境下评测，确保公平对比。以下展示 5 个真实模型的综合得分。

6.3 评测流水线

评测流水线全自动运行，从数据集准备到排行榜更新无需人工干预。以下是完整的流水线流程和关键组件。

// 评测任务 YAML 配置示例
apiVersion: eval.platform/v1
kind: EvaluationTask
metadata:
  name: qwen3-235b-a22b-v1-full-eval
  model_id: qwen3-235b-a22b
  version: v1.0.0
spec:
  # ── 基准评测集 ──
  benchmarks:
    - name: mmlu
      subset: all                     # all | stem | humanities | social_sciences | other
      few_shot: 5
      metric: accuracy
    - name: ceval
      subset: all
      few_shot: 5
      metric: accuracy
    - name: cmmlu
      subset: all
      few_shot: 5
      metric: accuracy
    - name: gsm8k
      few_shot: 8
      metric: accuracy
      cot: true                       # Chain-of-Thought 推理
    - name: math
      level: [1, 2, 3, 4, 5]         # 难度等级
      few_shot: 4
      metric: accuracy
      cot: true
    - name: humaneval
      metric: pass@1
    - name: mbpp
      metric: pass@1
    - name: hellaswag
      few_shot: 10
      metric: accuracy
    - name: winogrande
      few_shot: 5
      metric: accuracy

  # ── 业务自定义评测 ──
  custom_benchmarks:
    - name: finance-qa
      dataset: s3://eval-datasets/finance-qa/v3/          # 评测数据集路径
      metric: accuracy
      max_samples: 5000
    - name: customer-intent
      dataset: s3://eval-datasets/customer-intent/v2/
      metric: f1

  # ── 安全评测 ──
  safety_benchmarks:
    - name: safety-bench
      subset: all                     # all | 7 categories
    - name: truthful-qa
    - name: bbq

  # ── 性能评测 ──
  performance:
    engine: vllm                      # 评测使用的推理引擎
    gpu_type: A100-80G
    gpu_count: 4
    tp: 4
    concurrency: [1, 8, 16, 32]       # 不同并发度测试
    input_lengths: [128, 512, 2048]   # 不同输入长度
    output_lengths: [128, 256, 512]   # 不同输出长度

  # ── 评测运行时 ──
  runtime:
    timeout: 7200                     # 超时 (秒), 70B 模型约 2h
    retry: 2
    priority: normal                  # high | normal | low
    notify:
      on_complete:
        - channel: feishu
          to: ["alg-team"]
      on_failure:
        - channel: email
          to: ["mlops@company.com"]

---
// 评测结果 (由评测引擎写入)
{
  "report_id": "eval-20260520-001",
  "model_id": "qwen3-235b-a22b",
  "version": "v1.0.0",
  "status": "completed",
  "started_at": "2026-05-20T02:00:00Z",
  "completed_at": "2026-05-20T04:15:00Z",
  "duration_seconds": 8100,
  "benchmark_results": {
    "mmlu": {"score": 85.3, "num_samples": 14042, "few_shot": 5, "metric": "accuracy"},
    "ceval": {"score": 91.2, "num_samples": 11928, "few_shot": 5, "metric": "accuracy"},
    "cmmlu": {"score": 89.7, "num_samples": 11928, "few_shot": 5, "metric": "accuracy"},
    "gsm8k": {"score": 92.1, "num_samples": 1319, "few_shot": 8, "cot": true, "metric": "accuracy"},
    "math":  {"score": 76.5, "num_samples": 5000, "few_shot": 4, "cot": true, "metric": "accuracy"},
    "humaneval": {"score": 80.5, "num_samples": 164, "metric": "pass@1"},
    "mbpp": {"score": 78.3, "num_samples": 974, "metric": "pass@1"},
    "hellaswag": {"score": 87.2, "num_samples": 10042, "few_shot": 10, "metric": "accuracy"},
    "winogrande": {"score": 85.6, "num_samples": 1267, "few_shot": 5, "metric": "accuracy"}
  },
  "custom_results": {
    "finance-qa": {"score": 89.4, "metric": "accuracy", "num_samples": 5000},
    "customer-intent": {"score": 92.1, "metric": "f1", "num_samples": 10000}
  },
  "safety_results": {
    "safety-bench": {"overall_pass_rate": 97.2, "categories": {...}},
    "truthful-qa": {"score": 82.5, "metric": "truthfulness"},
    "bbq": {"bias_score": 3.2, "metric": "bias (lower is better)"}
  },
  "performance_results": {
    "ttft_p50_ms": 120,
    "ttft_p99_ms": 410,
    "tpot_p50_ms": 26,
    "tpot_p99_ms": 105,
    "throughput_tokens_per_second": 3890,
    "peak_gpu_memory_gb": 76.5,
    "qps_max": 48
  }
}

7. 版本管理

L3 的版本管理系统为每个模型版本分配语义版本号，支持别名映射和完整的生命周期管理。版本管理是 L3 连接 L2 部署和 L4 路由的核心枢纽。

7.1 语义版本 (SemVer)

模型版本使用 MAJOR.MINOR.PATCH 格式的语义版本号，遵循以下兼容性规则：

7.2 别名系统

别名系统将语义版本号映射为语义化的标签，使上层消费者（L4 网关、L5 应用层）无须关心具体版本号即可指向正确的模型版本。

// 别名映射 JSON 示例 (存储在 PostgreSQL)
{
  "model_id": "qwen3-235b-a22b",
  "aliases": {
    "production": {
      "version": "v1.2.0",
      "updated_at": "2026-05-25T10:00:00Z",
      "updated_by": "alg-team",
      "auto_upgrade": "minor"              // none | patch | minor | major
    },
    "staging": {
      "version": "v1.3.0-rc.1",
      "updated_at": "2026-06-01T14:30:00Z",
      "updated_by": "alg-team"
    },
    "latest": {
      "version": "v1.3.0-rc.1",
      "updated_at": "2026-06-01T14:30:00Z",
      "auto_upgrade": "patch"
    },
    "canary": {
      "version": "v2.0.0-beta.2",
      "updated_at": "2026-05-30T09:00:00Z",
      "updated_by": "risk-team"
    }
  }
}

别名的更新遵循以下规则：

• production 别名：只能由 MLOps 团队或审批流程更新，通常经过 staging 验证后手动推进
• staging 别名：在版本通过评测且 reviewed 状态后自动指向最新候选版本
• latest 别名：任何新发布的 published 版本会自动更新 latest 别名
• canary 别名：用于灰度验证的新版本，通常由算法工程师手动设置，验证通过后升级 production
• auto_upgrade：当符合兼容性规则时，别名可自动指向较新的版本号

7.3 生命周期状态机

每个模型版本经历从创建到归档的完整生命周期，状态转换受控于严格的规则和审批流程。

8. 模型存储策略

模型权重文件在 L1 基础设施层的对象存储中管理，L3 只存储元数据。以下是完整的存储分层策略：

存储层级详情

9. API 规范

L3 模型市场对外暴露 RESTful API，供 L4 模型网关、L5 应用平台和管理控制台调用。以下列出核心 API 端点。

模型 CRUD

版本管理

别名管理

// GET /api/v1/models/qwen3-235b-a22b/aliases/production/resolve
// 响应示例 (供 L4 网关使用)
HTTP/1.1 200 OK
Content-Type: application/json

{
  "model_id": "qwen3-235b-a22b",
  "alias": "production",
  "resolved_version": "v1.2.0",
  "weights": {
    "source": "s3://model-weights/qwen3-235b-a22b/v1.2.0/",
    "format": "safetensors",
    "quantization": "bf16",
    "size": "144Gi"
  },
  "deployments": [
    {
      "target": "production",
      "engine": "vllm",
      "endpoint": "https://api.internal/v1/chat/completions",
      "status": "running"
    }
  ],
  "capabilities": {
    "max_context_length": 131072,
    "supported_languages": ["zh", "en"],
    "function_calling": true,
    "streaming": true
  }
}

评测管理

搜索与过滤

// GET /api/v1/models/search?q=finance&task=text-generation&min_mmlu=70&page=1&size=10
// 搜索请求参数
//   q           全文搜索关键词 (匹配 name/description/model_id)
//   task        任务类型过滤 (text-generation | embedding | reranker | ...)
//   modality    模态过滤 (text | image | multimodal)
//   framework   框架过滤 (transformers | vllm | tensorrt-llm)
//   min_mmlu    最低 MMLU 分数过滤
//   tags        标签过滤 (key=value 格式, 可重复)
//   status      版本状态过滤 (published | deprecated | ...)
//   page        页码 (默认 1)
//   size        每页大小 (默认 20, 最大 100)
//   sort        排序字段 (score | name | created_at | updated_at)
//   order       排序方向 (asc | desc)

HTTP/1.1 200 OK
Content-Type: application/json

{
  "total": 3,
  "page": 1,
  "size": 10,
  "results": [
    {
      "model_id": "qwen3-235b-a22b",
      "name": "Qwen3-235B-A22B",
      "description": "通义千问 3 235B-A22B 指令模型",
      "type": "open-source",
      "latest_version": "v1.2.0",
      "highest_score": {"benchmark": "ceval", "score": 91.2},
      "tags": [
        {"key": "domain", "value": "general"},
        {"key": "language", "value": "zh"}
      ]
    },
    {
      "model_id": "finance-qa-7b",
      "name": "FinanceQA-7B-Instruct",
      "description": "金融领域问答专用模型，基于 Qwen3-8B 微调",
      "type": "fine-tuned",
      "base_model": "qwen3-8b",
      "latest_version": "v1.0.0",
      "highest_score": {"benchmark": "finance-qa", "score": 89.4},
      "tags": [
        {"key": "domain", "value": "finance"},
        {"key": "capability", "value": "qa"}
      ]
    }
  ]
}

部署协调

10. SLA / SLO 目标

L3 模型市场的 SLO 直接影响模型发现和版本路由的可用性和响应速度。作为元数据服务层，L3 的核心目标是保证元数据的强一致性和高可用。

11. 技术选型

以下表格列出了 L3 层所有技术组件的选型结果、版本和选型理由：