1
┌─────────────────────────────────────────────────┐
2
│                 AI 网关能力                       │
3
├──────────────┬──────────────────────────────────┤
4
│ 多模型路由   │ GPT-4 / Claude / 通义 / 文心 / 本地 │
5
│ Token 限流   │ 按用户/API Key/应用配额            │
6
│ Prompt 改写  │ 系统提示词注入、模板填充           │
7
│ 内容审核     │ 输入/输出敏感内容过滤              │
8
│ 流式处理     │ SSE 流式响应、首字节延迟优化       │
9
│ 成本统计     │ Token 消耗、费用计算               │
10
│ 缓存         │ 语义缓存（相似问题复用答案）       │
11
│ 降级         │ 主模型故障时自动切换备用模型       │
12
└──────────────┴──────────────────────────────────┘

1
# McpBridge 配置多个 LLM 服务
2
apiVersion: networking.higress.io/v1
3
kind: McpBridge
4
metadata:
5
  name: llm-services
6
  namespace: higress-system
7
spec:
8
  registries:
9
    # OpenAI
10
    - name: openai
11
      type: dns
12
      domain: api.openai.com
13
      port: 443
14
      protocol: https
15

16
    # Anthropic Claude
17
    - name: anthropic
18
      type: dns
19
      domain: api.anthropic.com
20
      port: 443
21
      protocol: https
22

23
    # 阿里通义千问
24
    - name: dashscope
25
      type: dns
26
      domain: dashscope.aliyuncs.com
27
      port: 443
28
      protocol: https
29

30
    # 本地部署（vLLM/Ollama）
31
    - name: local-llm
32
      type: static
33
      staticServers:
34
        - address: 10.0.0.100:8000

1
# GPT-4 路由（高复杂度任务）
2
apiVersion: networking.k8s.io/v1
3
kind: Ingress
4
metadata:
5
  name: llm-gpt4
6
  annotations:
7
    higress.io/destination: "openai.dns"
8
    higress.io/upstream-vhost: "api.openai.com"
9
    higress.io/request-header-authorization: "Bearer sk-xxx"
10
spec:
11
  ingressClassName: higress
12
  rules:
13
    - host: ai.example.com
14
      http:
15
        paths:
16
          - path: /v1/chat/gpt4
17
            pathType: Prefix
18
            backend:
19
              resource:
20
                apiGroup: networking.higress.io
21
                kind: McpBridge
22
                name: llm-services
23

24
---
25
# Claude 路由（代码任务）
26
apiVersion: networking.k8s.io/v1
27
kind: Ingress
28
metadata:
29
  name: llm-claude
30
  annotations:
31
    higress.io/destination: "anthropic.dns"
32
    higress.io/upstream-vhost: "api.anthropic.com"
33
    higress.io/request-header-x-api-key: "sk-ant-xxx"
34
spec:
35
  ingressClassName: higress
36
  rules:
37
    - host: ai.example.com
38
      http:
39
        paths:
40
          - path: /v1/chat/claude
41
            pathType: Prefix
42
            backend:
43
              resource:
44
                apiGroup: networking.higress.io
45
                kind: McpBridge
46
                name: llm-services
47

48
---
49
# 通义千问路由（中文任务，成本低）
50
apiVersion: networking.k8s.io/v1
51
kind: Ingress
52
metadata:
53
  name: llm-qwen
54
  annotations:
55
    higress.io/destination: "dashscope.dns"
56
    higress.io/upstream-vhost: "dashscope.aliyuncs.com"
57
spec:
58
  ingressClassName: higress
59
  rules:
60
    - host: ai.example.com
61
      http:
62
        paths:
63
          - path: /v1/chat/qwen
64
            pathType: Prefix
65
            backend:
66
              resource:
67
                apiGroup: networking.higress.io
68
                kind: McpBridge
69
                name: llm-services

1
# Wasm 插件实现智能路由
2
apiVersion: extensions.higress.io/v1alpha1
3
kind: WasmPlugin
4
metadata:
5
  name: llm-router
6
spec:
7
  url: oci://registry.example.com/plugins/llm-router:v1
8
  defaultConfig:
9
    routes:
10
      - match:
11
          header: X-Task-Type
12
          value: "code"
13
        target: "anthropic.dns"    # Claude 擅长代码
14
      - match:
15
          header: X-Task-Type
16
          value: "chinese"
17
        target: "dashscope.dns"    # 通义擅长中文
18
      - match:
19
          header: X-Task-Type
20
          value: "complex"
21
        target: "openai.dns"       # GPT-4 复杂推理
22
      - default: true
23
        target: "local-llm"        # 默认本地模型（成本低）

1
传统限流：100 QPS（每个请求成本相同）
2
AI 限流：100 QPS 但每个请求 Token 消耗差异巨大
3

4
示例：
5
- 请求 A："你好" → 10 tokens
6
- 请求 B："写一篇 5000 字论文" → 5000 tokens
7

8
如果只限 QPS，请求 B 的成本是请求 A 的 500 倍！
9
必须按 Token 限流。

1
apiVersion: extensions.higress.io/v1alpha1
2
kind: WasmPlugin
3
metadata:
4
  name: token-rate-limit
5
spec:
6
  url: oci://registry.example.com/plugins/token-rate-limit:v1
7
  phase: UNSPECIFIED_PHASE
8
  priority: 900
9
  defaultConfig:
10
    redis_cluster: "outbound|6379||redis.redis.svc.cluster.local"
11

12
    # 按用户 Token 配额
13
    rules:
14
      - name: "free-tier"
15
        match:
16
          header: X-User-Tier
17
          value: "free"
18
        limit:
19
          input_tokens: 10000       # 每天 1 万输入 Token
20
          output_tokens: 5000       # 每天 5 千输出 Token
21
          total_tokens: 15000
22
          window: 86400             # 24 小时
23

24
      - name: "pro-tier"
25
        match:
26
          header: X-User-Tier
27
          value: "pro"
28
        limit:
29
          input_tokens: 1000000
30
          output_tokens: 500000
31
          total_tokens: 1500000
32
          window: 86400
33

34
      - name: "enterprise"
35
        match:
36
          header: X-User-Tier
37
          value: "enterprise"
38
        limit:
39
          input_tokens: 100000000
40
          output_tokens: 50000000
41
          window: 86400
42

43
    # 按模型成本加权
44
    model_weights:
45
      gpt-4: 30          # GPT-4 每 Token 成本是基准的 30 倍
46
      gpt-3.5-turbo: 1
47
      claude-3-opus: 25
48
      claude-3-sonnet: 5
49
      qwen-max: 3
50
      qwen-turbo: 1
51

52
    # 超限响应
53
    rejected_code: 429
54
    rejected_body: |
55
      {
56
        "error": "token_limit_exceeded",
57
        "message": "Your daily token quota has been exceeded",
58
        "upgrade_url": "https://example.com/upgrade"
59
      }

1
// Wasm 插件中计算 Token（伪代码）
2
func calculateTokens(body []byte, model string) (inputTokens, outputTokens int) {
3
  // 1. 解析请求 Body
4
  var req map[string]interface{}
5
  json.Unmarshal(body, &req)
6

7
  // 2. 计算输入 Token
8
  messages := req["messages"].([]interface{})
9
  for _, msg := range messages {
10
    content := msg.(map[string]interface{})["content"].(string)
11
    // 使用 tiktoken 或近似算法
12
    inputTokens += estimateTokens(content)
13
  }
14

15
  // 3. 输出 Token（从响应中获取，或预估）
16
  // 流式响应需要累计 chunk 中的 token
17

18
  // 4. 按模型权重加权
19
  weight := modelWeights[model]
20
  inputTokens = inputTokens * weight
21
  outputTokens = outputTokens * weight
22

23
  return
24
}
25

26
// 近似 Token 估算（英文 ~4 chars/token，中文 ~1.5 chars/token）
27
func estimateTokens(text string) int {
28
  // 简化实现，实际应该用 tiktoken
29
  return len(text) / 3
30
}

1
apiVersion: extensions.higress.io/v1alpha1
2
kind: WasmPlugin
3
metadata:
4
  name: prompt-injector
5
spec:
6
  url: oci://registry.example.com/plugins/prompt-injector:v1
7
  defaultConfig:
8
    # 按路由注入系统提示词
9
    rules:
10
      - match:
11
          path_prefix: "/v1/chat/customer-service"
12
        inject:
13
          role: "system"
14
          content: |
15
            你是一个专业的客服助手。请遵循以下规则：
16
            1. 始终保持礼貌和专业
17
            2. 不要透露内部信息
18
            3. 如果不确定，引导用户联系人工客服
19
            4. 回答控制在 200 字以内
20

21
      - match:
22
          path_prefix: "/v1/chat/code-review"
23
        inject:
24
          role: "system"
25
          content: |
26
            你是一个资深代码审查专家。请：
27
            1. 指出代码中的 bug 和安全隐患
28
            2. 提供改进建议
29
            3. 遵循 SOLID 原则
30
            4. 给出具体的代码示例
31

32
      - match:
33
          path_prefix: "/v1/chat/translation"
34
        inject:
35
          role: "system"
36
          content: |
37
            你是专业翻译。请：
38
            1. 保持原文语义
39
            2. 符合目标语言表达习惯
40
            3. 专业术语准确
41
            4. 只输出翻译结果，不要解释

1
defaultConfig:
2
  templates:
3
    - name: "sql-generator"
4
      match:
5
        header: X-Task-Type
6
        value: "sql"
7
      template: |
8
        你是一个 SQL 专家。根据以下需求生成 SQL：
9

10
        数据库 Schema：
11
        {{schema}}
12

13
        用户需求：
14
        {{user_input}}
15

16
        要求：
17
        1. 使用标准 SQL 语法
18
        2. 考虑性能（索引、JOIN 优化）
19
        3. 添加注释说明
20
        4. 只输出 SQL，不要解释
21

22
      variables:
23
        schema:
24
          from: "header"
25
          key: "X-DB-Schema"
26
        user_input:
27
          from: "body"
28
          path: "messages[-1].content"

1
defaultConfig:
2
  # Prompt 注入检测
3
  injection_detection:
4
    enabled: true
5
    patterns:
6
      - "ignore previous instructions"
7
      - "ignore all previous"
8
      - "disregard.*instructions"
9
      - "system prompt"
10
      - "you are now"
11
      - "new instructions"
12
    action: "block"       # block / log / sanitize
13

14
  # 敏感话题过滤
15
  topic_filter:
16
    enabled: true
17
    blocked_topics:
18
      - "violence"
19
      - "illegal"
20
      - "harmful"
21
    action: "block"
22

23
  # 输出长度限制
24
  max_output_tokens: 4096

1
apiVersion: extensions.higress.io/v1alpha1
2
kind: WasmPlugin
3
metadata:
4
  name: content-moderation
5
spec:
6
  url: oci://registry.example.com/plugins/content-moderation:v1
7
  defaultConfig:
8
    # 输入审核
9
    input_moderation:
10
      enabled: true
11
      # 调用外部审核服务
12
      provider: "aliyun-green"    # 阿里云内容安全
13
      endpoint: "green.cn-shanghai.aliyuncs.com"
14
      access_key: "${ALIYUN_AK}"
15
      access_secret: "${ALIYUN_SK}"
16

17
      # 审核维度
18
      scenes:
19
        - "porn"          # 色情
20
        - "terrorism"     # 暴恐
21
        - "ad"            # 广告
22
        - "live"          # 不良场景
23
        - "logo"          # 特殊标识
24

25
      # 处理策略
26
      action_on_block: "reject"     # reject / sanitize / log
27
      action_on_review: "pass"      # pass / reject
28

29
  # 输出审核（LLM 响应）
30
  output_moderation:
31
    enabled: true
32
    provider: "aliyun-green"
33
    # 流式响应需要缓冲后审核
34
    stream_buffer_size: 1024        # 每 1KB 审核一次
35
    action_on_block: "truncate"     # truncate / replace / reject

1
defaultConfig:
2
  custom_rules:
3
    # 关键词过滤
4
    - name: "sensitive-words"
5
      type: "keyword"
6
      keywords:
7
        - "暴力"
8
        - "色情"
9
        - "赌博"
10
        - "毒品"
11
      action: "block"
12

13
    # 正则过滤
14
    - name: "phone-number"
15
      type: "regex"
16
      pattern: "1[3-9]\\d{9}"
17
      action: "mask"          # 脱敏：138****1234
18

19
    # 语义审核（调用 LLM）
20
    - name: "semantic-check"
21
      type: "llm"
22
      prompt: |
23
        判断以下内容是否包含有害信息：
24
        {{content}}
25

26
        只回答：safe / unsafe / review
27
      model: "qwen-turbo"     # 用便宜模型审核
28
      action_on_unsafe: "block"
29
      action_on_review: "log"

1
apiVersion: networking.k8s.io/v1
2
kind: Ingress
3
metadata:
4
  name: llm-streaming
5
  annotations:
6
    # 禁用响应缓冲（关键！）
7
    higress.io/proxy-buffering: "off"
8
    # 超时设置（流式响应可能很长）
9
    higress.io/request-timeout: "300s"
10
    higress.io/upstream-response-timeout: "300s"
11
    # 分块传输
12
    higress.io/chunked-transfer: "on"
13
spec:
14
  ingressClassName: higress
15
  rules:
16
    - host: ai.example.com
17
      http:
18
        paths:
19
          - path: /v1/chat/stream
20
            backend:
21
              service:
22
                name: llm-service
23
                port: { number: 8000 }

1
// Wasm 插件处理流式响应
2
func onHttpResponseBody(ctx wrapper.HttpContext, config Config, body []byte, log wrapper.Log) wrapper.Action {
3
  // SSE 格式：data: {...}\n\n
4
  lines := strings.Split(string(body), "\n")
5

6
  for _, line := range lines {
7
    if strings.HasPrefix(line, "data: ") {
8
      data := strings.TrimPrefix(line, "data: ")
9

10
      // 解析 chunk
11
      var chunk map[string]interface{}
12
      json.Unmarshal([]byte(data), &chunk)
13

14
      // 累计 Token
15
      if usage, ok := chunk["usage"].(map[string]interface{}); ok {
16
        inputTokens += int(usage["prompt_tokens"].(float64))
17
        outputTokens += int(usage["completion_tokens"].(float64))
18
      }
19
    }
20
  }
21

22
  // 流式结束（data: [DONE]）
23
  if strings.Contains(string(body), "data: [DONE]") {
24
    // 上报 Token 统计
25
    reportTokenUsage(ctx, inputTokens, outputTokens)
26
  }
27

28
  return wrapper.ActionContinue
29
}

1
用户问题："什么是 Kubernetes？"
2
   ↓
3
计算语义向量（Embedding）
4
   ↓
5
查询向量数据库（相似问题）
6
   ↓
7
命中缓存（相似度 > 0.95）→ 直接返回缓存答案
8
未命中 → 调用 LLM → 存入缓存

1
apiVersion: extensions.higress.io/v1alpha1
2
kind: WasmPlugin
3
metadata:
4
  name: semantic-cache
5
spec:
6
  url: oci://registry.example.com/plugins/semantic-cache:v1
7
  defaultConfig:
8
    # Embedding 服务
9
    embedding:
10
      provider: "openai"
11
      model: "text-embedding-3-small"
12
      endpoint: "https://api.openai.com/v1/embeddings"
13

14
    # 向量数据库
15
    vector_db:
16
      type: "redis"           # redis / milvus / qdrant
17
      endpoint: "redis.redis.svc.cluster.local:6379"
18
      index: "llm-cache"
19

20
    # 缓存策略
21
    cache:
22
      similarity_threshold: 0.95    # 相似度阈值
23
      ttl: 3600                     # 缓存 1 小时
24
      max_entries: 100000           # 最大缓存条目
25

26
    # 缓存 Key
27
    key_template: "{{model}}:{{user_id}}:{{prompt_hash}}"

1
apiVersion: extensions.higress.io/v1alpha1
2
kind: WasmPlugin
3
metadata:
4
  name: llm-cost-tracker
5
spec:
6
  url: oci://registry.example.com/plugins/llm-cost-tracker:v1
7
  defaultConfig:
8
    # 模型单价（美元/1K tokens）
9
    pricing:
10
      gpt-4:
11
        input: 0.03
12
        output: 0.06
13
      gpt-3.5-turbo:
14
        input: 0.0005
15
        output: 0.0015
16
      claude-3-opus:
17
        input: 0.015
18
        output: 0.075
19
      claude-3-sonnet:
20
        input: 0.003
21
        output: 0.015
22
      qwen-max:
23
        input: 0.02
24
        output: 0.06
25

26
    # 统计维度
27
    dimensions:
28
      - "user_id"           # 按用户
29
      - "api_key"           # 按 API Key
30
      - "model"             # 按模型
31
      - "application"       # 按应用
32

33
    # 上报
34
    report:
35
      interval: 60          # 每分钟上报
36
      endpoint: "http://billing-service.internal/api/usage"