测试

混沌测试

以下是基于 Node.js 的混沌测试（Chaos Testing）详细示例，结合工具选择、测试步骤、开发阶段定位及其与其他测试类型的关系说明。

1. 混沌测试的核心目标

验证系统在异常条件（如网络中断、服务宕机、资源耗尽）下的容错能力，确保：

  • 自动恢复（如进程崩溃后重启）。
  • 优雅降级（如熔断机制触发，返回默认响应）。
  • 监控告警（如异常状态及时通知）。

2. 工具选择

工具 作用
Chaos Mesh Kubernetes 混沌工程平台，支持 Pod 故障注入、网络延迟等。
Gremlin 多环境混沌测试工具，支持节点宕机、CPU 过载、网络丢包等。
node-chaos Node.js 轻量级库，模拟进程崩溃、内存泄漏等应用层故障。
k6 + Fault Injection 结合 k6 的扩展脚本，模拟 API 响应延迟或错误。

3. 示例场景与测试步骤

场景描述

假设一个 Node.js 订单服务依赖支付服务（HTTP）和 Redis（缓存）。测试以下故障场景：

  1. 支付服务响应超时（5秒超时）。
  2. Redis 连接失败。
  3. Node.js 进程内存泄漏崩溃。

步骤 1：定义系统容错机制

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
// 订单服务代码示例（Express）
const express = require("express");
const axios = require("axios");
const Redis = require("ioredis");
const app = express();

const redis = new Redis(process.env.REDIS_URL);
const PAYMENT_SERVICE_URL = process.env.PAYMENT_SERVICE_URL;

// 熔断器配置（支付服务）
let circuitBreaker = {
  isOpen: false,
  lastFailure: 0,
  resetTimeout: 10000, // 10秒后尝试恢复
};

// 创建订单接口
app.post("/orders", async (req, res) => {
  try {
    // 1. 检查熔断器状态
    if (circuitBreaker.isOpen && Date.now() - circuitBreaker.lastFailure < circuitBreaker.resetTimeout) {
      return res.status(503).json({ error: "Payment service unavailable (circuit breaker open)" });
    }

    // 2. 调用支付服务（超时5秒）
    const paymentResponse = await axios.post(
      `${PAYMENT_SERVICE_URL}/pay`,
      { amount: req.body.amount },
      { timeout: 5000 }
    );

    // 3. 写入 Redis 缓存
    await redis.set(`order:${paymentResponse.data.id}`, JSON.stringify(req.body));

    res.status(201).json({ id: paymentResponse.data.id });
  } catch (error) {
    // 更新熔断器状态
    circuitBreaker.isOpen = true;
    circuitBreaker.lastFailure = Date.now();
    res.status(500).json({ error: "Order creation failed" });
  }
});

步骤 2：注入故障并验证容错

场景 1：支付服务响应超时
  • 工具：k6 脚本模拟延迟。
  • 测试脚本：
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    // k6 脚本（payment-chaos.js）
    import http from 'k6/http';
    import { sleep } from 'k6';

    export default function () {
      // 模拟支付服务延迟 6 秒（超过订单服务的 5 秒超时）
      const res = http.post('http://payment-service/pay', JSON.stringify({ amount: 100 }), {
        headers: { 'Content-Type': 'application/json' },
        timeout: '6s', // 强制超时
      });
      sleep(1);
    }
  • 执行与验证：
    1
    2
    k6 run --vus 100 --duration 5m payment-chaos.js
    # 监控订单服务日志，确认熔断器是否打开并返回 503 状态码。
场景 2：Redis 连接失败
  • 工具：Chaos Mesh（Kubernetes 环境下）注入网络故障。
  • 操作：
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    # chaos-mesh-network.yaml
    apiVersion: chaos-mesh.org/v1alpha1
    kind: NetworkChaos
    metadata:
      name: redis-network-loss
    spec:
      action: loss
      mode: one
      selector:
        namespaces:
          - default
        labelSelectors:
          "app": "redis"
      loss:
        loss: "100%" # 100% 丢包
      duration: "5m"
  • 验证：
    1
    2
    kubectl apply -f chaos-mesh-network.yaml
    # 观察订单服务是否降级为直接写入数据库（需提前实现降级逻辑）。
场景 3：Node.js 进程内存泄漏崩溃
  • 工具：node-chaos 注入内存泄漏。
  • 代码注入：
    1
    2
    3
    // 在订单服务启动时注入内存泄漏
    const chaos = require('node-chaos');
    chaos.memoryLeak({ interval: 1000, maxHeapMB: 100 }); // 每秒泄漏内存，直到堆达到 100MB
  • 验证：
    1
    2
    pm2 start app.js
    # 使用 PM2 监控进程自动重启，并检查告警系统是否触发。

4. 开发阶段中的位置

测试类型 开发阶段 执行环境 目标
单元测试 编码阶段 本地开发环境 验证函数逻辑正确性。
集成测试 持续集成（CI）阶段 测试环境 验证服务与数据库/中间件交互。
混沌测试 预发布/生产环境 预生产或生产环境 验证系统在真实故障下的容错和恢复能力。
端到端测试 功能测试阶段 测试环境 验证完整用户流程。
  • 混沌测试定位：
    通常在 系统测试后期 或 生产环境监控阶段 执行，确保基础设施和应急策略的有效性。

5. 与其他测试类型的关系

测试类型 与混沌测试的关联
单元测试 混沌测试依赖单元测试确保基础逻辑正确（如熔断器状态机）。
集成测试 验证服务与依赖的正常交互，混沌测试则验证异常交互（如超时、错误响应）。
性能测试 性能测试评估系统负载能力，混沌测试验证高负载下的故障恢复（如自动扩容失效时的降级）。
监控告警 混沌测试后需验证监控指标（如错误率）和告警是否及时触发。

6. 工具链集成示例

CI/CD 流水线

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
# .github/workflows/chaos.yaml
name: Chaos Testing

on:
  schedule:
    - cron: "0 2 * * *" # 每天凌晨2点执行

jobs:
  chaos-test:
    runs-on: ubuntu-latest
    steps:
      - name: Deploy to Staging
        uses: actions/deploy@v2
        with:
          env: staging

      - name: Run Network Chaos
        uses: chaos-mesh/action@v1
        with:
          experiment: chaos-mesh-network.yaml

      - name: Verify Resilience
        run: |
          kubectl get pods -n staging
          curl -X POST http://staging/orders -d '{"amount": 100}'
          # 验证响应是否为降级结果或超时错误

      - name: Rollback Chaos
        if: always()
        uses: chaos-mesh/action@v1
        with:
          action: delete
          experiment: chaos-mesh-network.yaml

总结

通过混沌测试，Node.js 微服务可实现：

  1. 故障防御：识别并修复单点故障。
  2. 自动化恢复：验证进程管理工具（如 PM2）和编排系统（如 Kubernetes）的自我修复能力。
  3. 团队信任：通过定期演练，增强对系统稳定性的信心。

最佳实践：

  • 渐进式混沌：从测试环境开始，逐步在生产环境实施小范围故障注入。
  • 监控驱动：结合 Prometheus、Grafana 实时跟踪系统指标。
  • 文档化预案：为每个故障场景编写应急响应手册（如人工介入步骤）。