模型网关

2. 层级定位与边界

L4 模型网关是整个 AI 平台的统一的模型推理入口。所有上层应用 (L5/L6/L7) 面向 OpenAI 兼容 API 编程，由 L4 负责将请求智能路由到内部部署的模型或外部 Provider。L4 是平台中唯一与外部模型供应商通信的层级，也是安全边界、限流熔断和流量治理的核心执行点。

L4 的核心职责包括：提供 OpenAI 兼容的统一推理 API、基于模型路由表的智能路由决策、外部 Provider 协议适配、API 鉴权和访问控制、限流/熔断/降级等流量治理、语义缓存加速、请求/响应审计日志、以及计费数据采集。

3. 边界规范

4. 统一 API 协议

L4 对外暴露与 OpenAI API 完全兼容的 REST 接口，上层应用可以使用标准的 OpenAI SDK 或任何兼容 HTTP 客户端直接访问。所有 Provider 差异在 L4 内部封装，对调用者完全透明。

4.1 Chat Completions

核心端点 /v1/chat/completions 提供完整的对话补全功能，支持流式和非流式响应、多轮对话、Function Calling、工具调用等多种 OpenAI 原生特性。

4.2 模型指定方式

请求中的 model 参数支持多种格式，L4 根据不同的格式采用相应的路由策略：

4.3 请求/响应示例

标准 Chat Completions 请求

curl -X POST https://gateway.api.internal/v1/chat/completions \
  -H "Authorization: Bearer sk-xxxxxxxxxxxxxxxx" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-235b-a22b",
    "messages": [
      {"role": "system", "content": "你是一个专业的金融助手。"},
      {"role": "user", "content": "请分析2026年Q1中国经济数据的主要趋势。"}
    ],
    "temperature": 0.7,
    "max_tokens": 4096,
    "stream": false
  }'

// 响应 (非流式)
{
  "id": "chatcmpl-9a8b7c6d5e4f3a2b1c0d",
  "object": "chat.completion",
  "created": 1717000000,
  "model": "qwen3-235b-a22b",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "从2026年Q1的经济数据来看，中国经济呈现出以下几个主要趋势..."
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 42,
    "completion_tokens": 256,
    "total_tokens": 298
  }
}

流式请求 (SSE)

curl -X POST https://gateway.api.internal/v1/chat/completions \
  -H "Authorization: Bearer sk-xxxxxxxxxxxxxxxx" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3-235b-a22b",
    "messages": [
      {"role": "user", "content": "讲个笑话"}
    ],
    "stream": true
  }'

// 响应 (SSE 流)
data: {"id":"chatcmpl-xxx","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant"},"finish_reason":null}]}
data: {"id":"chatcmpl-xxx","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"从前"},"finish_reason":null}]}
data: {"id":"chatcmpl-xxx","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"有"},"finish_reason":null}]}
data: {"id":"chatcmpl-xxx","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"个"},"finish_reason":null}]}
data: [DONE]

外部 Provider 路由

curl -X POST https://gateway.api.internal/v1/chat/completions \
  -H "Authorization: Bearer sk-xxxxxxxxxxxxxxxx" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-4o",
    "messages": [{"role": "user", "content": "Hello, world!"}]
  }'

// L4 内部将请求转换为 OpenAI API 格式并转发
// L4 将 OpenAI 的响应重新包装为标准格式返回给调用方

curl -X POST https://gateway.api.internal/v1/chat/completions \
  -H "Authorization: Bearer sk-xxxxxxxxxxxxxxxx" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "anthropic/claude-3.5-sonnet",
    "messages": [{"role": "user", "content": "介绍一下你自己"}]
  }'

// L4 内部通过协议适配器将请求从 OpenAI 格式转换为 Anthropic Messages API 格式
// 从 Anthropic 收到响应后，L4 再将响应转换回 OpenAI 兼容格式

错误响应格式

// 所有错误统一使用 OpenAI 兼容的错误格式
{
  "error": {
    "message": "Rate limit exceeded. Quota: 1000 RPM. Reset: 2026-06-02T10:00:00Z",
    "type": "rate_limit_error",
    "param": null,
    "code": "rate_limit_exceeded"
  }
}

// 常见错误码
// 400  Bad Request      — 请求参数错误 (invalid model, invalid messages)
// 401  Unauthorized    — API Key 无效或过期
// 403  Forbidden       — 无权限访问模型
// 429  Rate Limit      — 超出速率限制或配额上限
// 500  Internal Error  — 网关内部错误
// 502  Bad Gateway     — 上游 Provider 不可用
// 503  Service Unavailable — 熔断器打开

5. 智能路由引擎

L4 的路由引擎是网关最核心的组件，支持五种路由策略，可根据请求特征自动选择最优的模型和目标端点。路由决策在微秒级完成，不影响整体请求延迟。

5.1 精确匹配路由

5.2 负载均衡路由

5.3 智能降级路由

5.4 成本优化路由

5.5 A/B 测试路由

// A/B Test 配置 (存储在 L4 配置中心)
{
  "experiment_id": "ab-20260601-qwen-v1.2.0",
  "model": "qwen3-235b-a22b",
  "baseline_version": "v1.1.0",
  "candidate_version": "v1.2.0",
  "traffic_split": {
    "baseline": 70,   // 70% 流量到 v1.1.0
    "candidate": 30   // 30% 流量到 v1.2.0
  },
  "metrics_collection": {
    "ttft": true,
    "tpot": true,
    "completion_rate": true,
    "user_satisfaction": true   // 通过响应 header 跟踪
  },
  "duration": "7d",
  "auto_promote": {
    "enabled": true,
    "condition": "candidate.ttft < baseline.ttft * 1.1 && candidate.completion_rate > baseline.completion_rate"
  }
}

5.6 路由器配置 YAML 示例

# L4 模型网关 — 路由引擎主配置
# 文件路径: /etc/l4-gateway/routes.yaml

version: "v1"
gateway:
  name: "ai-platform-gateway"
  listen: ":8080"
  log_level: "info"

# ── 路由规则定义 ──
routes:

  # 规则 1: 精确匹配 — 生产环境固定模型
  - id: "exact-match-production"
    match:
      model: ["qwen3-235b-a22b", "qwen3-32b"]
      source: "production"
    action:
      type: "route"
      target: "internal"
      resolve_alias: true          # 解析 production 别名
      load_balancer:
        algorithm: "adaptive"      # adaptive | least_connection | round_robin | weighted
        window_seconds: 30
    fallback:
      - model: "deepseek-v2-chat"
        timeout_ms: 15000
      - model: "openai/gpt-4o-mini"
        timeout_ms: 20000

  # 规则 2: 负载均衡 — 多副本部署
  - id: "load-balanced-embedding"
    match:
      model: ["bge-m3-embedding", "text-embedding-v3"]
      type: "embedding"
    action:
      type: "route"
      target: "internal-embedding"
      load_balancer:
        algorithm: "least_connection"
    rate_limit:
      rpm: 6000
      burst: 200

  # 规则 3: 成本优化 — 按复杂度路由
  - id: "cost-optimized-chat"
    match:
      model: "router:cost-optimized:general-chat"
    action:
      type: "cost_optimized"
      classifier: "complexity-v2"
      tiers:
        - complexity: "simple"
          model: "qwen3-8b"
        - complexity: "medium"
          model: "qwen3-32b"
        - complexity: "complex"
          model: "qwen3-235b-a22b"
        - complexity: "expert"
          model: "openai/gpt-4o"
    metrics:
      collect: true
      export_path: "/metrics/routing"

  # 规则 4: 外部 Provider 路由
  - id: "external-provider"
    match:
      model_prefix: ["openai/", "anthropic/", "google/"]
    action:
      type: "route"
      target: "external"
      protocol_adapter: true      # 启用协议适配器
    circuit_breaker:
      enabled: true
      failure_threshold: 5
      timeout_ms: 30000
      half_open_after_ms: 60000
    timeout:
      request_ms: 60000
      connection_ms: 5000
      first_token_ms: 15000

  # 规则 5: A/B 测试
  - id: "ab-test-v1.2.0"
    match:
      model: "qwen3-235b-a22b"
      experiment: "ab-20260601-qwen-v1.2.0"
    action:
      type: "ab_test"
      baseline:
        version: "v1.1.0"
        weight: 70
      candidate:
        version: "v1.2.0"
        weight: 30
      metrics:
        - "ttft"
        - "tpot"
        - "completion_rate"

# ── 默认规则 ──
default_route:
  action:
    type: "route"
    target: "internal-fallback"
  fallback:
    - model: "qwen3-8b"
    - model: "openai/gpt-4o-mini"
    - cache: true

6. 外部 Provider 集成

L4 提供标准化的外部模型供应商集成框架。每个 Provider 通过协议适配器接入，适配器负责将 OpenAI 兼容请求转换为目标 Provider 的 API 格式，并将响应转换回 OpenAI 兼容格式。

6.1 供应商卡片

6.2 协议适配器架构

协议适配器 (Protocol Adapter) 是 L4 网关中负责将外部 Provider 的专有 API 协议转换为 OpenAI 兼容格式的核心组件。每个 Provider 都有独立的适配器实现，遵循统一的适配器接口规范。

6.3 Provider 配置 YAML

# L4 模型网关 — 外部 Provider 配置
# 文件路径: /etc/l4-gateway/providers.yaml

version: "v1"

providers:

  # ── Provider: Anthropic ──
  - name: "anthropic"
    enabled: true
    base_url: "https://api.anthropic.com/v1"
    api_key:
      secret_ref: "kms://anthropic-api-key"   # 通过 KMS 引用加密密钥
    adapter: "anthropic"                       # 使用 Anthropic 适配器
    models:
      - id: "claude-3.5-sonnet"
        mapped_name: "claude-3-5-sonnet-20241022"
        features: ["stream", "thinking", "tool_use", "vision"]
      - id: "claude-3.5-haiku"
        mapped_name: "claude-3-5-haiku-20241022"
        features: ["stream", "tool_use"]
      - id: "claude-3-opus"
        mapped_name: "claude-3-opus-20240229"
        features: ["stream", "thinking", "vision"]
    timeout:
      request_ms: 120000
      first_token_ms: 30000
    circuit_breaker:
      failure_threshold: 10
      half_open_after_ms: 60000
    rate_limit:
      rpm: 500
      tpm: 200000

  # ── Provider: OpenAI ──
  - name: "openai"
    enabled: true
    base_url: "https://api.openai.com/v1"
    api_key:
      secret_ref: "kms://openai-api-key"
    adapter: "openai"                          # OpenAI 适配器 (原生兼容)
    models:
      - id: "gpt-4o"
        mapped_name: "gpt-4o-2024-11-20"
        features: ["stream", "vision", "function_calling", "json_mode"]
      - id: "gpt-4o-mini"
        mapped_name: "gpt-4o-mini-2024-07-18"
        features: ["stream", "vision", "function_calling"]
    timeout:
      request_ms: 60000
      first_token_ms: 15000
    circuit_breaker:
      failure_threshold: 5

  # ── Provider: 阿里百炼 (DashScope) ──
  - name: "alibaba-bailian"
    enabled: true
    base_url: "https://dashscope.aliyuncs.com/api/v1"
    api_key:
      secret_ref: "kms://dashscope-api-key"
    adapter: "dashscope"
    models:
      - id: "qwen-max"
        mapped_name: "qwen-max-2026-01-25"
        features: ["stream", "function_calling"]
      - id: "qwen-plus"
        mapped_name: "qwen-plus"
        features: ["stream"]
    timeout:
      request_ms: 120000
    rate_limit:
      rpm: 2000

  # ── Provider: 百度千帆 ──
  - name: "baidu-qianfan"
    enabled: true
    base_url: "https://aip.baidubce.com/rpc/2.0/ai_custom"
    api_key:
      secret_ref: "kms://qianfan-api-key"
    adapter: "qianfan"
    models:
      - id: "ernie-4.0"
        mapped_name: "ernie-4.0-8k"
        features: ["stream"]
      - id: "ernie-3.5"
        mapped_name: "ernie-3.5-8k"

  # ── Provider: Azure OpenAI ──
  - name: "azure-openai"
    enabled: true
    base_url: "https://${resource}.openai.azure.com/openai/deployments/${deployment}"
    api_key:
      secret_ref: "kms://azure-openai-key"
    adapter: "azure-openai"
    models:
      - id: "gpt-4o"
        deployment_name: "gpt-4o"
        api_version: "2024-10-01-preview"
      - id: "text-embedding-3-large"
        deployment_name: "text-embedding-3-large"
        api_version: "2024-10-01-preview"

7. 流量治理

L4 在推理请求的完整路径上实施了多层流量治理机制，确保网关在高负载、部分故障等异常场景下的稳定性和可用性。

7.1 限流

7.2 熔断器

熔断器基于 Hystrix 模式实现，保护上游推理服务和外部 Provider 不被过载请求压垮。

# 熔断器配置示例
circuit_breaker:
  enabled: true
  # 熔断触发条件
  failure_threshold: 5                    # 连续失败 5 次触发熔断
  failure_rate_threshold: 0.5             # 或 50% 请求失败
  request_volume_threshold: 20            # 最少请求量阈值（防止低流量误触发）
  # 熔断行为
  timeout_ms: 30000                       # 请求超时计入熔断统计
  half_open_after_ms: 60000               # 60s 后进入半开状态
  # 半开试探
  half_open_max_requests: 3               # 半开状态最多放行 3 个请求试探
  # 滑动窗口
  sliding_window_size: 10                 # 统计最近 10 个请求
  sliding_window_ms: 60000                # 时间窗口 60s

7.3 降级链路

降级链路定义了请求在多个 Provider 之间的故障转移顺序。每一级可以配置不同的模型、Provider 和超时时间，支持链式和并行两种降级模式。

# 降级链路配置
fallback_chain:
  # 链式降级 (Primary → Backup 1 → Backup 2 → Cache → Default)
  strategy: "chain"
  levels:
    - name: "primary"
      type: "model"
      model: "qwen3-235b-a22b"
      timeout_ms: 30000
      conditions:                           # 触发降级的条件
        - "status_code >= 500"
        - "timeout"
        - "circuit_breaker_open"

    - name: "backup-1"
      type: "model"
      model: "deepseek-v2-chat"
      timeout_ms: 20000

    - name: "backup-2"
      type: "model"
      model: "openai/gpt-4o-mini"
      timeout_ms: 15000

    - name: "cache-stale"
      type: "cache"
      max_age: 3600                         # 最多使用 1h 前的缓存
      timeout_ms: 500

    - name: "default"
      type: "static"
      response: "抱歉，AI 推理服务暂时不可用，请稍后再试。"
      status_code: 503

7.4 超时控制

L4 支持三层超时控制，精确管理请求的每个阶段的时间预算。

7.5 请求队列

当请求超出瞬时处理能力时，L4 将请求放入优先级队列排队等待处理，而不是直接拒绝。

7.6 语义缓存

L4 集成了基于 GPTCache + Redis 的语义缓存系统，通过语义相似度匹配复用之前已缓存的结果，显著降低重复请求的延迟和成本。

# 语义缓存配置
semantic_cache:
  enabled: true

  # ── 缓存引擎 ──
  engine: "gptcache"
  embedding_model: "bge-m3-embedding"       # 用于计算语义相似度的 Embedding 模型
  similarity_threshold: 0.92                 # 语义相似度阈值, >= 0.92 视为命中
  max_cache_size: 50000                      # Redis 最大缓存条目数

  # ── 缓存范围 ──
  cacheable_models:                          # 仅对指定模型启用缓存
    - "qwen3-235b-a22b"
    - "qwen3-32b"
    - "openai/gpt-4o-mini"
  cacheable_temperature: [0, 0.1]            # 仅缓存低 temperature 的确定性请求
  max_input_length: 4096                     # 超过此长度的请求不缓存

  # ── 缓存策略 ──
  ttl:
    hits: 3600                               # 缓存命中后刷新 TTL
    default: 300                             # 默认缓存 TTL (5分钟)
    max: 86400                               # 最大缓存 TTL (24小时)

  # ── 精准缓存 (Exact Match) ──
  exact_match:
    enabled: true                            # 完全相同的请求直接命中 (绕过语义搜索)
    ttl: 3600                                # 精准匹配结果缓存 1h

  # ── 指标 ──
  metrics:
    hit_rate_threshold: 0.4                  # 目标命中率 ≥ 40%

8. 安全与认证

L4 是平台的安全边界，所有请求在路由前必须通过多层安全检测。安全模块包括认证授权、访问控制、内容安全和审计日志四个子模块。

8.1 API Key 认证

所有请求必须携带有效的 API Key。L4 支持标准 Bearer Token 方式和 HMAC 签名两种认证方式。

# ── Bearer Token (标准方式) ──
curl -X POST https://gateway.api.internal/v1/chat/completions \
  -H "Authorization: Bearer sk-proj-xxxxxxxxxxxx" \
  ...

# ── HMAC 签名认证 (安全增强) ──
# 请求头:
#   X-Api-Key:      sk-xxxxxxxx         # API Key ID
#   X-Timestamp:    2026-06-02T10:00:00Z # 请求时间戳 (防重放)
#   X-Nonce:        3a7f...e9b2         # 随机数 (防重放)
#   X-Signature:    ...                  # HMAC-SHA256 签名
#
# 签名计算: HMAC-SHA256(secret, method + path + timestamp + nonce + body)

curl -X POST https://gateway.api.internal/v1/chat/completions \
  -H "X-Api-Key: sk-proj-xxxxxxxx" \
  -H "X-Timestamp: 2026-06-02T10:00:00Z" \
  -H "X-Nonce: 3a7f9c2e1b5d8f4a6c0e" \
  -H "X-Signature: e4a5f8c7d9b2a1e3f6c0d8b7a4e9f2c1d5a6b3c8e7f0d9a2b4c6e1f7a3d5b9" \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen3-235b-a22b","messages":[{"role":"user","content":"hello"}]}'

8.2 OAuth 2.0 / OIDC 企业 SSO

支持通过 OAuth 2.0 和 OpenID Connect 协议与企业的统一身份认证系统集成，适用于企业级内部使用场景。

# OAuth 2.0 配置
oauth:
  enabled: true
  providers:
    - name: "company-sso"
      type: "oidc"                                  # OIDC
      issuer_url: "https://sso.company.com/oidc"
      client_id: "l4-gateway"
      client_secret:
        secret_ref: "kms://oidc-client-secret"
      scopes: ["openid", "profile", "email"]
      role_mapping:                                  # 从 OIDC claim 映射角色
        roles_claim: "application_roles"
        mapping:
          - role: "admin"
            permissions: ["*"]
          - role: "developer"
            permissions: ["chat:write", "embedding:write"]
          - role: "viewer"
            permissions: ["chat:read"]

8.3 模型级访问控制

L4 支持细粒度的模型级访问权限控制，可以精确到每个 API Key 允许访问的模型列表。

// API Key 权限配置示例
{
  "api_key_id": "sk-proj-xxxxxxxx",
  "owner": "finance-team",
  "permissions": {
    "allowed_models": [
      "qwen3-235b-a22b",
      "qwen3-32b",
      "openai/gpt-4o",
      "router:cost-optimized:general-chat"
    ],
    "denied_models": [
      "openai/gpt-4o"     // 即使在上面的列表中, 也被拒绝
    ],
    "rate_limits": {
      "rpm": 1000,
      "tpm": 50000,
      "rpd": 50000
    },
    "allowed_endpoints": [
      "/v1/chat/completions",
      "/v1/embeddings"
    ]
  },
  "effective_at": "2026-06-01T00:00:00Z",
  "expires_at": "2026-12-31T23:59:59Z"
}

8.4 内容安全

L4 在请求进入和响应返回两个阶段分别执行内容安全检查，确保进出平台的推理内容符合安全规范。

8.5 审计日志

所有请求和响应的关键信息通过异步管道记录到审计日志系统，支持合规审计和安全事件溯源。

// 审计日志记录格式 (JSON, 异步写入 ELK/Loki)
{
  "audit_id": "aud-20260602-001-xxxxx",
  "timestamp": "2026-06-02T10:30:00.123Z",
  "request": {
    "method": "POST",
    "path": "/v1/chat/completions",
    "model": "qwen3-235b-a22b",
    "api_key_hash": "sha256:a3f7...e9b2",       // API Key 哈希 (不记录原始 Key)
    "user_id": "user-finance-001",               // 如果启用了用户认证
    "source_ip": "10.0.1.100",
    "user_agent": "OpenAI-Python-Client/1.30.0",
    "prompt_tokens": 42,
    "prompt_length": 156,
    "messages_count": 2,
    "content_types": ["text"],
    "has_images": false
  },
  "response": {
    "status_code": 200,
    "completion_tokens": 256,
    "total_tokens": 298,
    "ttft_ms": 180,
    "total_latency_ms": 3450,
    "model_used": "qwen3-235b-a22b",        // 实际路由到的模型
    "provider": "internal",                       // internal | openai | anthropic | ...
    "cache_hit": false,
    "fallback_chain_used": null,
    "router_strategy": "exact_match"
  },
  "security": {
    "content_filter_passed": true,
    "pii_detected": false,
    "prompt_injection_detected": false
  },
  "cost": {
    "estimated_cost_usd": 0.0012
  }
}

// 审计配置: 每 500ms 或 1000 条记录批量写入
// 敏感字段 (完整 messages 内容) 仅在必要且授权的情况下记录
// 默认 messages 只记录 token 数量和类型, 不记录原文

9. 网关性能指标

L4 模型网关作为平台模型推理的统一入口，在引入丰富功能的同时严格控制附加延迟。以下是网关自身的性能指标目标。

10. API 规范

L4 模型网关对外暴露的所有端点。所有端点遵循 OpenAI 兼容格式，支持标准 OpenAI SDK 和 HTTP 客户端直接访问。

核心推理端点

模型查询端点

管理端点

Chat Completions 请求 Schema

POST /v1/chat/completions
Content-Type: application/json
Authorization: Bearer sk-xxxxxxxx

{
  // ── 必需 ──
  "model": "qwen3-235b-a22b",             // 模型 ID (支持各种指定方式)
  "messages": [                                 // 消息列表
    {"role": "system", "content": "你是一个助手。"},
    {"role": "user", "content": "你好"}
  ],

  // ── 生成参数 ──
  "temperature": 0.7,                           // 温度 (0-2, 默认 1)
  "top_p": 0.9,                                 // Top-P 采样 (0-1, 默认 1)
  "max_tokens": 4096,                           // 最大生成 Token 数
  "stop": ["\n\n"],                             // 停止词
  "frequency_penalty": 0,                       // 频率惩罚 (-2 到 2)
  "presence_penalty": 0,                        // 存在惩罚 (-2 到 2)
  "seed": 42,                                   // 随机种子 (确定性生成)

  // ── 流式 ──
  "stream": false,                              // 是否 SSE 流式返回

  // ── 高级功能 ──
  "tools": [                                    // Tool/Function Calling
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "获取天气信息",
        "parameters": {
          "type": "object",
          "properties": {
            "location": {"type": "string"}
          },
          "required": ["location"]
        }
      }
    }
  ],
  "tool_choice": "auto",                        // none | auto | required | {"type":"function","function":{"name":"..."}}

  // ── 响应格式 ──
  "response_format": {
    "type": "json_object"                       // text | json_object
  },

  // ── L4 扩展参数 ──
  "x_l4": {
    "routing_strategy": "cost_optimized",       // 覆盖默认路由策略
    "experiment_id": "ab-20260601",             // A/B 测试 ID
    "cache_enabled": true,                      // 是否启用语义缓存
    "timeout_ms": 30000,                        // 覆盖请求超时
    "tags": {                                   // 自定义标签 (用于审计和计费)
      "project": "finance-qa",
      "environment": "production"
    }
  }
}

// 响应 Schema
{
  "id": "chatcmpl-9a8b7c6d5e4f3a2b1c0d",
  "object": "chat.completion",
  "created": 1717000000,
  "model": "qwen3-235b-a22b",              // 实际使用的模型 (可能与请求不同)
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "你好！有什么可以帮助你的吗？"
      },
      "finish_reason": "stop"                    // stop | length | content_filter | tool_calls
    }
  ],
  "usage": {
    "prompt_tokens": 42,
    "completion_tokens": 15,
    "total_tokens": 57
  },
  // L4 扩展响应头 (以 X-L4- 开头的响应头)
  "x_l4": {
    "provider": "internal",                      // 实际路由到的 Provider
    "cache_hit": false,                          // 是否缓存命中
    "fallback_chain_used": null,                 // 是否触发了降级链
    "routing_strategy": "exact_match",           // 实际使用的路由策略
    "latency_ms": 2850                           // 网关总处理时间
  }
}

11. 技术选型

以下表格列出了 L4 层的技术组件选型、版本和选型理由。核心决策是选择自建模型网关而非现成的 LiteLLM 方案，以获得更大的定制灵活性。