模型基础应用平台

2. 层级定位与边界

L5 模型基础应用平台是连接底层模型能力与上层业务应用的关键中间层。它向下调用 L4 模型网关的统一推理 API，向上对 L6 多智能体管理层提供封装好的单智能体能力、Dify API、RAG 检索接口和 MCP 工具集。L5 不直接与模型推理服务通信，所有推理请求均通过 L4 网关转发。

L5 包含四个独立的子平台：Agent 平台（智能体构建与运行时）、Dify Workflow 平台（低代码工作流编排）、RAG 平台（检索增强生成流水线）和 MCP 平台（模型上下文协议服务管理）。四个子平台各自独立部署和维护，通过 L5 编排总线进行数据交换和流程协同。

四个子平台的定位差异：

• Agent 平台：面向需要自主决策、工具调用和多轮记忆的复杂 AI 场景，提供完整的 Agent 构建和运行时环境。
• Dify Workflow 平台：面向需要可视化编排 AI 工作流的业务用户，提供低代码拖拽式开发和 LLMOps 能力。
• RAG 平台：面向知识密集型应用，提供从数据摄入到检索生成的全链路 RAG 流水线服务。
• MCP 平台：面向工具和 API 的统一管理，为 Agent 和工作流提供标准化的外部能力接入层。

3. 边界规范

4. 子平台导航

Agent 平台提供从 Agent 构建、配置、测试到部署上线的全生命周期管理能力。平台采用模块化设计，核心组件包括模型绑定、Prompt 工程、工具集成、记忆系统和规划策略，所有组件均可独立扩展和替换。

A1.1 模型绑定

每个 Agent 必须绑定至少一个主模型用于推理决策，可选绑定辅助模型用于特定任务（如摘要、分类、工具调用验证等）。模型绑定通过 L4 网关的模型路由表完成，支持按环境和用途灵活切换。

A1.2 Prompt 工程

Prompt 工程模块提供系统 Prompt 的全生命周期管理能力，支持模板化、版本化、A/B 测试和变量注入。

A1.3 工具集成

Agent 通过 Function Calling 机制调用外部工具。平台提供丰富的内置工具库，支持自定义工具注册，并内置工具使用的审批工作流。

A1.4 记忆系统

平台采用分层记忆架构，支持短期对话记忆、长期向量记忆、工作记忆和用户记忆四种类型，覆盖 Agent 不同维度的记忆需求。

A1.5 规划策略

Agent 支持多种规划策略，可根据任务复杂度灵活选择和组合。平台内置五种策略模板，也支持自定义规划策略。

A1.6 安全护栏

Agent 平台内置多层安全护栏机制，覆盖输入过滤、行为控制和输出审查三个环节。

A2. Agent Runtime 架构

Agent 运行时采用 Planner→Executor→Observer→Reflector 循环架构，支持决策分支和自适应调整。

A3. Agent 定义规范

以下为一个完整的 Agent YAML 配置示例，展示了 Agent 平台的配置规范：

# Agent 定义文件示例
apiVersion: ai-platform.io/v1
kind: Agent
metadata:
  name: customer-service-agent
  version: 2.1.0
  label: "智能客服助手"
  description: "处理客户咨询、工单创建和常见问题解答"
  tags: ["customer-service", "production", "zh-CN"]
spec:
  # ── 模型绑定 ──
  model:
    primary:
      provider: openai
      model: gpt-4o
      endpoint: "https://gateway.internal/v1"
      parameters:
        temperature: 0.3
        max_tokens: 4096
        top_p: 0.95
    auxiliary:
      classifier:
        provider: azure
        model: gpt-4o-mini
        parameters:
          temperature: 0.1
      summarizer:
        provider: internal
        model: qwen3-8b
    fallback:
      - provider: anthropic
        model: claude-3-5-sonnet
      - provider: internal
        model: qwen3-235b-a22b
  prompt:
    system_template: "templates/customer-service/v2/system.md"
    variables:
      - name: user_name
        type: string
        source: session.user.name
      - name: current_time
        type: datetime
        source: system.time
      - name: order_info
        type: object
        source: api.get_order
    few_shot:
      strategy: dynamic
      max_examples: 5
      similarity_threshold: 0.75
  tools:
    builtin:
      - web_search
      - calculator
      - current_datetime
    custom:
      - name: query_order
        ref: order-system/query-order@v2
        auth_required: true
      - name: create_ticket
        ref: ticketing-system/create-ticket@v1
        approval: required
    mcp_servers:
      - server: knowledge-base
        tools: [search, query]
  memory:
    short_term:
      strategy: sliding_window
      max_messages: 50
      max_tokens: 8192
    long_term:
      type: vector_store
      provider: milvus
      collection: agent_memories
      embedding_model: bge-m3
      top_k: 5
    user_profile:
      enabled: true
      fields: [language, preferences, history_topics]
  planning:
    strategy: react
    max_iterations: 20
    early_stopping: true
  guardrails:
    input:
      prompt_injection: true
      pii_detection: true
      content_moderation: strict
    output:
      sensitive_data_masking: true
      citation_check: true
    rate_limit:
      rpm: 100
      tpm: 100000
  observability:
    tracing: true
    logging: structured
    metrics:
      - response_time
      - token_usage
      - tool_call_count
      - planning_iterations

A4. Agent 生命周期

Agent 从创建到退役经过完整的生命周期管理，每个阶段都有对应的操作规范和审批流程。

Dify Workflow 平台基于自托管的 Dify 开源项目构建，提供可视化的 AI 应用开发工作流引擎。平台集成了 LLM 调用、知识检索、代码执行、API 集成等能力，支持通过拖拽方式编排复杂的 AI 工作流。

B1. 自托管 Dify 架构

Dify 平台采用微服务架构，核心组件包括：

B2. 节点类型

Dify Workflow 提供丰富的节点类型，覆盖 AI 工作流的各个环节：

B3. 应用类型

Dify 平台支持四种应用类型，覆盖不同的业务场景：

B4. 自定义扩展

为满足平台特定需求，Dify 基础上扩展了以下自定义节点和功能：

B5. 示例流程：客服工单处理

以下为一个完整的客户服务工单处理工作流示例，展示各节点的协同工作方式：

B6. DSL 版本管理

Dify 工作流使用 YAML/JSON DSL 定义流程拓扑。平台对接 Git 仓库进行 DSL 版本管理，实现以下核心流程：

• DSL 导出：从 Dify 画布导出标准 DSL 文件，自动生成带时间戳的版本标签。
• Git 存储：DSL 文件存储在 Git 仓库中，支持分支管理（develop / staging / production）。
• Diff 对比：可视化对比两个版本的 DSL 差异，节点级变更一目了然。
• Code Review：DSL 变更通过 Pull Request 流程进行审查，审批后合并到目标分支。
• 自动部署：合并到 production 分支后自动触发 CI/CD，将 DSL 部署到生产 Dify 实例。
• 回滚机制：通过 git revert 或将 DSL 恢复到历史版本即可完成回滚。

B7. 集成策略

Dify 平台与平台其他组件的集成遵循以下策略：

RAG 平台提供从数据摄入到生成输出的全链路检索增强生成流水线，包含 6 个标准化阶段。平台采用流水线架构，每个阶段可独立扩展和替换，支持多种检索策略和 LLM 集成。

C1. 6 阶段 RAG 流水线

C1.1 Stage 1 — 数据摄入 (Data Ingestion)

C1.2 Stage 2 — 文档处理 (Document Processing)

C1.3 Stage 3 — 嵌入与索引 (Embedding & Indexing)

C1.4 Stage 4 — 检索与重排序 (Retrieval & Reranking)

C1.5 Stage 5 — 生成与后处理 (Generation & Post-processing)

C1.6 Stage 6 — 知识库管理 (Knowledge Base Management)

C2. RAG 质量指标

RAG 平台定义以下核心质量指标及目标值，用于持续监控和优化 RAG 流水线效果：

MCP (Model Context Protocol) 平台提供模型上下文协议服务的全生命周期管理，包括 Server 注册中心、统一网关和管理控制台。MCP 平台为 Agent 和 Workflow 提供标准化的外部能力接入层，遵循 Model Context Protocol 规范。

D1. MCP Server 注册中心

MCP Server 注册中心集中管理所有已注册的 MCP 服务器，支持三种来源：

D2. MCP 网关

MCP 网关是所有 MCP 工具调用的统一入口，提供协议转换、安全代理、负载均衡和审计能力。

D3. MCP 管理控制台

MCP 管理控制台提供可视化的 Server 和工具管理界面：

D4. MCP Server 注册配置示例

MCP Server 通过 JSON 配置文件注册到平台，以下为完整示例：

{
  "server": {
    "name": "enterprise-knowledge-base",
    "version": "2.1.0",
    "description": "企业知识库 MCP 服务器，提供文档检索和问答能力",
    "transport": "sse",
    "endpoint": "https://mcp-knowledge.internal:8443/sse",
    "health_check": "/health",
    "timeout_ms": 30000,
    "max_retries": 3
  },
  "capabilities": {
    "tools": [
      {
        "name": "search_documents",
        "description": "搜索知识库文档",
        "parameters": {
          "type": "object",
          "properties": {
            "query": { "type": "string", "description": "搜索关键词" },
            "top_k": { "type": "integer", "default": 10, "maximum": 50 },
            "filters": { "type": "object", "description": "过滤条件" }
          },
          "required": ["query"]
        },
        "permissions": { "roles": ["admin","editor","viewer"], "rate_limit": 100 },
        "risk_level": "low"
      },
      {
        "name": "update_document",
        "description": "更新知识库文档内容",
        "parameters": {
          "type": "object",
          "properties": {
            "doc_id": { "type": "string" },
            "content": { "type": "string" },
            "overwrite": { "type": "boolean", "default": false }
          },
          "required": ["doc_id", "content"]
        },
        "permissions": { "roles": ["admin","editor"], "approval_required": true },
        "risk_level": "medium"
      }
    ],
    "resources": [
      {
        "name": "document://{doc_id}",
        "description": "文档资源 URI 模板",
        "mime_type": "text/markdown"
      }
    ]
  },
  "auth": {
    "type": "api_key",
    "api_key_env": "KNOWLEDGE_BASE_API_KEY",
    "rotate_interval_days": 90
  },
  "observability": {
    "tracing": true,
    "metrics_port": 9090,
    "log_level": "info"
  },
  "deployment": {
    "replicas": 3,
    "resources": { "cpu": "2", "memory": "4Gi" },
    "scaling": {
      "min_replicas": 2,
      "max_replicas": 10,
      "target_cpu_utilization": 70
    }
  }
}

8. SLA/SLO 目标

L5 各子平台定义以下 SLA/SLO 目标：

9. 技术选型

以下为 L5 各子平台的核心技术选型：