【网络工程】网络性能监控体系：指标、探针与告警

# node_exporter 自动采集的网络指标

# 接口级别（来自 /proc/net/dev）
node_network_receive_bytes_total      # 接收字节数
node_network_transmit_bytes_total     # 发送字节数
node_network_receive_packets_total    # 接收包数
node_network_transmit_packets_total   # 发送包数
node_network_receive_errs_total       # 接收错误
node_network_transmit_errs_total      # 发送错误
node_network_receive_drop_total       # 接收丢弃
node_network_transmit_drop_total      # 发送丢弃

# TCP 指标（来自 /proc/net/snmp）
node_netstat_Tcp_CurrEstab           # 当前 ESTABLISHED 连接数
node_netstat_Tcp_RetransSegs         # TCP 重传段数
node_netstat_Tcp_InSegs              # TCP 接收段数
node_netstat_Tcp_OutSegs             # TCP 发送段数
node_netstat_Tcp_ActiveOpens         # 主动打开连接数
node_netstat_Tcp_PassiveOpens        # 被动打开连接数

# conntrack 指标
node_nf_conntrack_entries            # conntrack 当前条目
node_nf_conntrack_entries_limit      # conntrack 最大条目

# blackbox.yml — Blackbox Exporter 配置

modules:
  # ICMP 探针
  icmp_probe:
    prober: icmp
    timeout: 5s
    icmp:
      preferred_ip_protocol: ip4
      payload_size: 64

  # TCP 探针
  tcp_connect:
    prober: tcp
    timeout: 5s

  # HTTP 探针
  http_2xx:
    prober: http
    timeout: 10s
    http:
      valid_http_versions: ["HTTP/1.1", "HTTP/2.0"]
      valid_status_codes: [200, 301, 302]
      method: GET
      follow_redirects: true
      preferred_ip_protocol: ip4

  # HTTPS + 证书检查
  https_cert:
    prober: http
    timeout: 10s
    http:
      valid_http_versions: ["HTTP/1.1", "HTTP/2.0"]
      method: GET
      fail_if_ssl: false
      tls_config:
        insecure_skip_verify: false

  # DNS 探针
  dns_lookup:
    prober: dns
    timeout: 5s
    dns:
      query_name: "example.com"
      query_type: "A"
      valid_rcodes:
        - NOERROR

# prometheus.yml — 探针任务配置

scrape_configs:
  # ICMP 探针
  - job_name: 'blackbox-icmp'
    metrics_path: /probe
    params:
      module: [icmp_probe]
    static_configs:
      - targets:
        - 10.0.1.1     # 核心交换机
        - 10.0.2.1     # 接入交换机
        - 8.8.8.8      # 外网 DNS
        - 1.1.1.1      # 外网 DNS
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: blackbox-exporter:9115

  # HTTP 探针
  - job_name: 'blackbox-http'
    metrics_path: /probe
    params:
      module: [http_2xx]
    static_configs:
      - targets:
        - https://api.example.com/health
        - https://www.example.com
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: blackbox-exporter:9115

  # DNS 探针
  - job_name: 'blackbox-dns'
    metrics_path: /probe
    params:
      module: [dns_lookup]
    static_configs:
      - targets:
        - 10.0.0.53:53     # 内部 DNS
        - 8.8.8.8:53       # Google DNS
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: blackbox-exporter:9115

# Blackbox Exporter 暴露的指标

# 探针是否成功（最重要）
probe_success                        # 1=成功 0=失败

# 延迟分解
probe_duration_seconds               # 探针总耗时
probe_dns_lookup_time_seconds        # DNS 解析耗时
probe_ip_protocol                    # 使用的 IP 版本
probe_ssl_earliest_cert_expiry       # SSL 证书最早过期时间

# HTTP 相关
probe_http_status_code               # HTTP 状态码
probe_http_duration_seconds{phase="connect"}   # TCP 连接耗时
probe_http_duration_seconds{phase="tls"}       # TLS 握手耗时
probe_http_duration_seconds{phase="processing"} # 服务端处理耗时
probe_http_duration_seconds{phase="transfer"}   # 传输耗时
probe_http_content_length            # 响应体大小
probe_http_version                   # HTTP 版本

# ICMP 相关
probe_icmp_duration_seconds          # ICMP RTT

# Smokeping 是专业的网络延迟监控工具
# 通过持续 ping 建立延迟基线，检测延迟异常和丢包

# 安装
apt-get install smokeping

# 配置 /etc/smokeping/config.d/Targets
# *** Targets ***

+ Network
menu = 网络监控

++ CoreSwitch
host = 10.0.0.1
title = 核心交换机

++ ISP_Gateway
host = 192.168.1.1
title = ISP 网关

++ DNS_Google
host = 8.8.8.8
title = Google DNS

++ DNS_Cloudflare
host = 1.1.1.1
title = Cloudflare DNS

++ CDN_Edge
host = cdn.example.com
title = CDN 边缘节点

# 配置探测参数
# *** Probes ***
+ FPing
binary = /usr/bin/fping
packetsize = 64
pings = 20        # 每次探测发 20 个包
step = 60         # 每 60 秒探测一次

# snmp.yml（使用 snmp_exporter generator 生成）
# 监控网络设备的接口指标

# prometheus.yml
scrape_configs:
  - job_name: 'snmp'
    static_configs:
      - targets:
        - 10.0.0.1    # 核心交换机
        - 10.0.0.2    # 汇聚交换机
        - 10.0.0.3    # 接入交换机
    metrics_path: /snmp
    params:
      module: [if_mib]
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: snmp-exporter:9116

# 接口状态
ifOperStatus         # 接口状态（up/down/testing）
ifAdminStatus        # 管理状态

# 流量
ifHCInOctets         # 入口字节数（64 位计数器）
ifHCOutOctets        # 出口字节数
ifHCInUcastPkts      # 入口单播包数
ifHCOutUcastPkts     # 出口单播包数

# 错误
ifInErrors           # 入口错误包数
ifOutErrors          # 出口错误包数
ifInDiscards         # 入口丢弃包数
ifOutDiscards        # 出口丢弃包数

# 接口速率
ifHighSpeed          # 接口速率（Mbps）

# PromQL 计算带宽利用率
# rate(ifHCInOctets[5m]) * 8 / (ifHighSpeed * 1000000) * 100

# 使用 nfdump 分析 NetFlow 数据

# 查看 Top 10 流量来源
nfdump -R /var/flow -s srcip -n 10

# 查看特定时间段的流量
nfdump -R /var/flow -t '2025/08/01.10:00-2025/08/01.11:00' \
    -s dstport -n 20

# 查找异常大流量
nfdump -R /var/flow -o extended \
    'bytes > 1G and proto tcp'

# 分析 DDoS 攻击流量特征
nfdump -R /var/flow -s srcip -n 50 \
    'dst ip 10.0.1.100 and dst port 80'

# 使用 pmacct 做流量采集和分析
# pmacct 支持 NetFlow/sFlow/IPFIX 输入
# 可以输出到 Prometheus / Kafka / PostgreSQL

# alerting-rules.yml — 网络告警规则

groups:
  - name: network-critical
    rules:
      # P0 — 立即响应
      - alert: NetworkInterfaceDown
        expr: |
          ifOperStatus{ifAlias!~".*unused.*"} != 1
        for: 1m
        labels:
          severity: critical
        annotations:
          summary: "网络接口 {{ $labels.ifDescr }} 宕机"
          
      - alert: HighPacketLoss
        expr: |
          (1 - probe_success) > 0
          and count_over_time(probe_success[5m]) >= 5
        for: 3m
        labels:
          severity: critical
        annotations:
          summary: "探针 {{ $labels.instance }} 连续失败"

  - name: network-warning
    rules:
      # P1 — 30 分钟内响应
      - alert: HighBandwidthUtilization
        expr: |
          rate(ifHCInOctets[5m]) * 8
          / (ifHighSpeed * 1e6) * 100 > 80
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "接口 {{ $labels.ifDescr }} 带宽使用率 > 80%"

      - alert: HighTcpRetransmission
        expr: |
          rate(node_netstat_Tcp_RetransSegs[5m])
          / rate(node_netstat_Tcp_OutSegs[5m]) * 100 > 1
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "TCP 重传率 > 1%"

      - alert: ConntrackTableFull
        expr: |
          node_nf_conntrack_entries
          / node_nf_conntrack_entries_limit * 100 > 80
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "conntrack 表使用率 > 80%"

      - alert: SSLCertExpiringSoon
        expr: |
          probe_ssl_earliest_cert_expiry - time() < 7 * 24 * 3600
        labels:
          severity: warning
        annotations:
          summary: "SSL 证书将在 7 天内过期: {{ $labels.instance }}"

  - name: network-info
    rules:
      # P2 — 工作时间处理
      - alert: LatencyAboveBaseline
        expr: |
          probe_icmp_duration_seconds > 0.05
        for: 30m
        labels:
          severity: info
        annotations:
          summary: "ICMP 延迟 > 50ms: {{ $labels.instance }}"

# alertmanager.yml — 告警路由与抑制

route:
  group_by: ['alertname', 'severity']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  receiver: 'default'
  routes:
    - match:
        severity: critical
      receiver: 'pager'
      group_wait: 10s
      repeat_interval: 1h
    - match:
        severity: warning
      receiver: 'slack-network'
      repeat_interval: 4h

inhibit_rules:
  # 接口宕机时抑制该接口的其他告警
  - source_match:
      alertname: NetworkInterfaceDown
    target_match_re:
      alertname: High.*
    equal: ['instance']

  # Critical 告警抑制同实例的 Warning
  - source_match:
      severity: critical
    target_match:
      severity: warning
    equal: ['instance']

# Grafana Dashboard 设计原则
# 1. 从上到下：概览 → 详情
# 2. 从左到右：关键指标 → 趋势 → 分布
# 3. 颜色编码：绿色=正常  黄色=告警  红色=故障

# 第一行：状态面板（Stat Panel）
# - 探针成功率（所有目标的平均值）
# - 活跃告警数
# - TCP 重传率
# - 接口错误率

# 第二行：时序图（Time Series）
# - 带宽利用率趋势（按接口）
# - RTT 延迟趋势（按目标）
# - 连接数趋势

# 第三行：分布图
# - 延迟热力图（Heatmap）
# - 流量 Top-N 表格
# - 错误分类饼图

# 带宽利用率（百分比）
rate(node_network_receive_bytes_total{device="eth0"}[5m]) * 8
/ (node_network_speed_bytes{device="eth0"} * 8) * 100

# TCP 重传率
rate(node_netstat_Tcp_RetransSegs[5m])
/ rate(node_netstat_Tcp_OutSegs[5m]) * 100

# HTTP 探针延迟分解
probe_http_duration_seconds{phase="connect"}   # TCP 连接
probe_http_duration_seconds{phase="tls"}       # TLS 握手
probe_http_duration_seconds{phase="processing"} # 服务端处理
probe_http_duration_seconds{phase="transfer"}   # 传输

# 接口丢包率
rate(node_network_receive_drop_total[5m])
/ rate(node_network_receive_packets_total[5m]) * 100

# conntrack 使用率
node_nf_conntrack_entries / node_nf_conntrack_entries_limit * 100

# 证书剩余天数
(probe_ssl_earliest_cert_expiry - time()) / 86400

# DNS 查询延迟 P99
histogram_quantile(0.99,
  rate(dns_query_duration_seconds_bucket[5m]))

# 使用 mtr 做持续路径监控
mtr --report --report-cycles 100 --json target.example.com

# 解读 mtr 报告
# Host              Loss%   Snt   Last   Avg  Best  Wrst StDev
# 1. gateway        0.0%   100    1.0    1.1   0.8   2.3   0.2
# 2. isp-router     0.5%   100    5.2    5.5   4.1   8.9   0.8
# 3. backbone       0.0%   100   12.3   12.1  11.5  14.2   0.5
# 4. target         0.0%   100   15.1   15.0  14.2  17.3   0.4

# 异常模式：
# - 某跳丢包但后续正常 → 该设备 ICMP 限速（通常无害）
# - 某跳开始持续丢包 → 真实丢包点
# - 延迟突增且后续累加 → 该跳是瓶颈

# 第一步：查看 Blackbox Exporter 探针数据
# PromQL：probe_success{instance="api.example.com"} 按小时统计
# 发现 14:00-16:00 探针成功率从 100% 降到 97%

# 第二步：查看 ICMP 延迟
# Smokeping 图表显示该时段延迟从 5ms 升至 50ms，丢包 3%

# 第三步：mtr 路径分析（在该时段运行）
mtr --report -c 200 api.example.com
# 发现第 3 跳（ISP 骨干路由器）丢包 5%

# 第四步：查看该路由器的 SNMP 指标
# 接口利用率在 14:00-16:00 达到 95%
# 原因：ISP 骨干链路在该时段拥塞

# 解决：
# 1. 与 ISP 沟通扩容
# 2. 临时方案：将关键流量路由到备用链路
# 3. 部署多 ISP 冗余

# 配置 SSL 证书过期监控

# Blackbox Exporter 探针配置
# modules:
#   https_cert_check:
#     prober: http
#     http:
#       method: HEAD
#       fail_if_ssl: false

# 告警规则
# - 30 天前：info 级别通知
# - 14 天前：warning 通知运维
# - 7 天前：critical 值班告警
# - 3 天前：P0 紧急告警

# PromQL 表达式
# probe_ssl_earliest_cert_expiry - time() < 30 * 86400  # 30 天
# probe_ssl_earliest_cert_expiry - time() < 14 * 86400  # 14 天
# probe_ssl_earliest_cert_expiry - time() < 7 * 86400   # 7 天

# 配合 cert-manager 自动续期的监控
# 即使有自动续期，仍需要监控——自动续期也会失败

# 第一步：确认影响范围
# PromQL：按目标 IP 分组查看重传率
# rate(node_netstat_Tcp_RetransSegs[5m])
# / rate(node_netstat_Tcp_OutSegs[5m])
# 发现只有与特定子网（10.0.5.0/24）通信时重传率高

# 第二步：检查该子网的网络设备
# SNMP 指标显示 10.0.5.0/24 的接入交换机接口 CRC 错误激增
# ifInErrors 从 0 飙升至数千/秒

# 第三步：物理层检查
# 交换机日志显示该端口频繁协商速率变化
# 原因：光模块老化，导致物理层错误

# 解决：更换光模块后重传率恢复到 0.1%

# 关键学习：
# TCP 重传的根因不一定在 TCP 层
# 需要结合 L2/L3 指标定位

# 在不同地理位置部署探针，检测区域间连通性

# 区域 A（北京）
# blackbox_exporter 探测：
# - 本区域服务（10.0.1.0/24）
# - 区域 B 服务（10.0.2.0/24）
# - 区域 C 服务（10.0.3.0/24）
# - 公网 DNS / CDN

# 区域 B（上海）
# blackbox_exporter 探测同样的目标列表

# 区域 C（广州）
# 同上

# 通过对比不同区域探针的数据：
# - 所有区域都探测失败 → 目标故障
# - 单个区域探测失败 → 该区域网络问题
# - 延迟差异大 → 路由问题

# Prometheus 联邦集群聚合多区域数据
# 在全局 Prometheus 中：
scrape_configs:
  - job_name: 'federate-network'
    honor_labels: true
    metrics_path: /federate
    params:
      'match[]':
        - '{job="blackbox-icmp"}'
        - '{job="blackbox-http"}'
    static_configs:
      - targets:
        - prometheus-beijing:9090
        - prometheus-shanghai:9090
        - prometheus-guangzhou:9090