【网络工程】L4 负载均衡：IPVS、LVS 与连接级调度

# 加载 IPVS 模块
modprobe ip_vs
modprobe ip_vs_rr
modprobe ip_vs_wrr
modprobe ip_vs_sh

# 确认模块加载
lsmod | grep ip_vs

# 创建虚拟服务
ipvsadm -A -t 10.0.1.100:80 -s rr
# -A: Add virtual service
# -t: TCP (用 -u 表示 UDP)
# -s: 调度算法 (rr = Round Robin)

# 添加真实服务器（Real Server）
ipvsadm -a -t 10.0.1.100:80 -r 10.0.2.10:80 -m
ipvsadm -a -t 10.0.1.100:80 -r 10.0.2.11:80 -m
ipvsadm -a -t 10.0.1.100:80 -r 10.0.2.12:80 -m
# -r: Real server 地址
# -m: Masquerading (NAT 模式)
# -g: Direct Routing (DR 模式)
# -i: IP Tunneling (TUN 模式)

# 查看当前配置
ipvsadm -Ln
# IP Virtual Server version 1.2.1 (size=4096)
# Prot LocalAddress:Port Scheduler Flags
#   -> RemoteAddress:Port       Forward Weight ActiveConn InActConn
# TCP  10.0.1.100:80 rr
#   -> 10.0.2.10:80             Masq    1      23         45
#   -> 10.0.2.11:80             Masq    1      21         42
#   -> 10.0.2.12:80             Masq    1      25         48

# 查看连接表
ipvsadm -Lnc | head -10

# 查看统计
ipvsadm --stats

# 删除真实服务器
ipvsadm -d -t 10.0.1.100:80 -r 10.0.2.10:80

# 删除虚拟服务
ipvsadm -D -t 10.0.1.100:80

# 清空所有规则
ipvsadm -C

# 查看连接表（含定时器信息）
ipvsadm -Lnc --sort
# pro expire   state       source              virtual             destination
# TCP 14:57    ESTABLISHED 192.168.1.10:43210  10.0.1.100:80       10.0.2.10:80
# TCP 01:23    TIME_WAIT   192.168.1.11:55432  10.0.1.100:80       10.0.2.11:80
# TCP 00:45    SYN_RECV    192.168.1.12:60001  10.0.1.100:80       10.0.2.12:80

# 连接表大小配置
sysctl -w net.ipv4.vs.conn_tab_bits=20  # 连接表哈希桶 2^20 = 1M
# 重新编译 IPVS 模块后生效，或在模块加载时指定：
# modprobe ip_vs conn_tab_bits=20

# 查看 IPVS 是否启用了 conntrack
sysctl net.ipv4.vs.conntrack
# 0 = 不使用 conntrack（推荐，性能更好）
# 1 = 使用 conntrack（某些场景需要，如 FTP 被动模式）

# 如果关闭 conntrack，以下功能不可用：
# - iptables 的 -m state/conntrack 匹配
# - NAT 模式的 SNAT（某些内核版本）
# - FTP/SIP 等需要连接跟踪帮助的协议

# LVS 机器配置
# 1. 启用 IP 转发
sysctl -w net.ipv4.ip_forward=1

# 2. 配置 VIP
ip addr add 10.0.1.100/32 dev eth0

# 3. 创建 IPVS 服务（NAT 模式）
ipvsadm -A -t 10.0.1.100:80 -s wrr
ipvsadm -a -t 10.0.1.100:80 -r 10.0.2.10:80 -m -w 3
ipvsadm -a -t 10.0.1.100:80 -r 10.0.2.11:80 -m -w 2
ipvsadm -a -t 10.0.1.100:80 -r 10.0.2.12:80 -m -w 1
# -w: 权重

# Real Server 配置
# 默认网关必须指向 LVS 的内网 IP
ip route add default via 10.0.2.1  # LVS 的内网 IP

# LVS 机器配置
ip addr add 10.0.1.100/32 dev eth0
ipvsadm -A -t 10.0.1.100:80 -s wrr
ipvsadm -a -t 10.0.1.100:80 -r 10.0.2.10:80 -g -w 1
ipvsadm -a -t 10.0.1.100:80 -r 10.0.2.11:80 -g -w 1

# Real Server 配置（每台 RS 都需要）
# 1. 在 lo 上配置 VIP（不对外广播 ARP）
ip addr add 10.0.1.100/32 dev lo

# 2. 抑制 ARP 响应（关键！否则会导致 IP 冲突）
sysctl -w net.ipv4.conf.lo.arp_ignore=1
sysctl -w net.ipv4.conf.lo.arp_announce=2
sysctl -w net.ipv4.conf.all.arp_ignore=1
sysctl -w net.ipv4.conf.all.arp_announce=2

# LVS 配置
ipvsadm -A -t 10.0.1.100:80 -s rr
ipvsadm -a -t 10.0.1.100:80 -r 10.0.2.10:80 -i
ipvsadm -a -t 10.0.1.100:80 -r 10.0.3.10:80 -i  # 不同子网的 RS

# RS 配置
# 1. 启用 tunl0 接口
ip tunnel add tunl0 mode ipip
ip link set tunl0 up

# 2. 在 tunl0 上配置 VIP
ip addr add 10.0.1.100/32 dev tunl0

# 3. ARP 抑制
sysctl -w net.ipv4.conf.tunl0.arp_ignore=1
sysctl -w net.ipv4.conf.tunl0.arp_announce=2

# 4. 关闭反向路径过滤（否则隧道包会被丢弃）
sysctl -w net.ipv4.conf.tunl0.rp_filter=0

# 创建持久连接服务（300 秒超时）
ipvsadm -A -t 10.0.1.100:80 -s wlc -p 300

# 查看持久连接状态
ipvsadm -Lnc | grep ASSURED

# 持久连接与 sh 算法的区别：
# sh: 基于源 IP 哈希，RS 变化时全部重新映射
# persistence: 基于连接表，超时后重新调度，更灵活

# 实时观察调度效果
watch -n 1 'ipvsadm -Ln --thresholds'

# 修改权重（不中断服务）
ipvsadm -e -t 10.0.1.100:80 -r 10.0.2.10:80 -g -w 5

# 优雅下线（权重设为 0，不再分配新连接）
ipvsadm -e -t 10.0.1.100:80 -r 10.0.2.10:80 -g -w 0
# 已有连接继续处理，新连接不会被调度到这个 RS

# 确认所有连接结束后再移除
while ipvsadm -Lnc | grep "10.0.2.10:80" | grep -q ESTABLISHED; do
    echo "等待连接排空..."
    sleep 5
done
ipvsadm -d -t 10.0.1.100:80 -r 10.0.2.10:80

#!/bin/bash
# /usr/local/bin/check_lvs.sh
# 检查 IPVS 服务是否正常

# 检查 ipvsadm 进程
if ! ipvsadm -Ln >/dev/null 2>&1; then
    exit 1
fi

# 检查至少有一个 RS 可用
RS_COUNT=$(ipvsadm -Ln | grep -c "->")
if [ "$RS_COUNT" -eq 0 ]; then
    exit 1
fi

exit 0

# Master 节点上
# 1. 查看 VIP 状态
ip addr show | grep 10.0.1.100

# 2. 模拟 Master 故障
systemctl stop keepalived

# 3. 在 Backup 节点上确认 VIP 漂移
ip addr show | grep 10.0.1.100
# 10.0.1.100/32 scope global eth0  ← VIP 已漂移到 Backup

# 4. 恢复 Master
systemctl start keepalived
# VIP 自动漂移回 Master（因为优先级更高）

# 5. 如果不想抢占（避免频繁切换）
# 在 Master 配置中添加：
# nopreempt

# MetalLB 配置 — L2 模式
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
  name: production-pool
  namespace: metallb-system
spec:
  addresses:
  - 10.0.1.200-10.0.1.250

---
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
  name: l2-advert
  namespace: metallb-system
spec:
  ipAddressPools:
  - production-pool

# 使用 MetalLB 的 Service
apiVersion: v1
kind: Service
metadata:
  name: web-service
spec:
  type: LoadBalancer
  selector:
    app: web
  ports:
  - port: 80
    targetPort: 8080

# 查看 kube-proxy 的 IPVS 规则
ipvsadm -Ln | head -20
# TCP  10.96.0.1:443 rr
#   -> 192.168.1.10:6443    Masq    1      0          0
#   -> 192.168.1.11:6443    Masq    1      0          0
# TCP  10.96.0.10:53 rr
#   -> 10.244.0.5:53        Masq    1      0          0
#   -> 10.244.0.6:53        Masq    1      0          0

# kube-proxy IPVS 使用 NAT 模式（Masq）
# 因为 Pod IP 在不同节点的不同子网，无法使用 DR 模式

# kube-proxy 的 IPVS 配置参数
# --proxy-mode=ipvs
# --ipvs-scheduler=rr          # 默认 rr，可改为 lc/wrr/wlc/sh 等
# --ipvs-min-sync-period=0
# --ipvs-sync-period=30s

#!/bin/bash
# deploy_lvs_dr.sh — 部署 LVS DR 模式
# 用法: ./deploy_lvs_dr.sh [master|backup|rs]

VIP="10.0.1.100"
LVS_MASTER_IP="10.0.2.1"
LVS_BACKUP_IP="10.0.2.2"
RS_IPS=("10.0.2.10" "10.0.2.11" "10.0.2.12")
PORT=80

case "$1" in
  master|backup)
    # 安装依赖
    apt-get update && apt-get install -y ipvsadm keepalived

    # 加载内核模块
    for mod in ip_vs ip_vs_rr ip_vs_wrr ip_vs_wlc ip_vs_sh; do
        modprobe $mod
    done

    # 写入模块自动加载
    cat > /etc/modules-load.d/ipvs.conf << 'EOF'
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_wlc
ip_vs_sh
EOF

    # 启用 IP 转发
    sysctl -w net.ipv4.ip_forward=1
    echo "net.ipv4.ip_forward=1" >> /etc/sysctl.d/99-lvs.conf

    # 生成 Keepalived 配置
    if [ "$1" = "master" ]; then
        STATE="MASTER"
        PRIORITY=100
    else
        STATE="BACKUP"
        PRIORITY=90
    fi

    cat > /etc/keepalived/keepalived.conf << EOF
global_defs {
    router_id LVS_${STATE}
}

vrrp_instance VI_1 {
    state ${STATE}
    interface eth0
    virtual_router_id 51
    priority ${PRIORITY}
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass LVS_S3cret
    }
    virtual_ipaddress {
        ${VIP}/32 dev eth0
    }
}

virtual_server ${VIP} ${PORT} {
    delay_loop 5
    lb_algo wlc
    lb_kind DR
    persistence_timeout 60
    protocol TCP
EOF

    for rs in "${RS_IPS[@]}"; do
        cat >> /etc/keepalived/keepalived.conf << EOF

    real_server ${rs} ${PORT} {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            retry 3
            delay_before_retry 2
        }
    }
EOF
    done

    echo "}" >> /etc/keepalived/keepalived.conf

    systemctl enable --now keepalived
    echo "LVS ${STATE} 配置完成"
    ;;

  rs)
    # Real Server 配置
    # 在 lo 上配置 VIP
    ip addr add ${VIP}/32 dev lo 2>/dev/null

    # ARP 抑制
    cat > /etc/sysctl.d/99-lvs-rs.conf << EOF
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
EOF
    sysctl -p /etc/sysctl.d/99-lvs-rs.conf

    # 持久化 VIP 配置
    cat > /etc/network/interfaces.d/lo-vip << EOF
auto lo:0
iface lo:0 inet static
    address ${VIP}
    netmask 255.255.255.255
EOF

    echo "Real Server 配置完成"
    ;;

  *)
    echo "用法: $0 [master|backup|rs]"
    exit 1
    ;;
esac

# 连接统计
ipvsadm --stats
# IP Virtual Server version 1.2.1 (size=4096)
# Prot LocalAddress:Port     Conns   InPkts  OutPkts  InBytes OutBytes
# TCP  10.0.1.100:80         12345   678900  234500   56.7M   123.4M

# 速率统计
ipvsadm --rate
# Prot LocalAddress:Port     CPS      InPPS    OutPPS   InBPS    OutBPS
# TCP  10.0.1.100:80         234      5678     1234     2.3M     5.6M

# 连接表大小
ipvsadm -Lnc | wc -l

# IPVS 内核参数
sysctl -a | grep ipvs

# 关键参数调优
sysctl -w net.ipv4.vs.conn_reuse_mode=1      # 连接复用
sysctl -w net.ipv4.vs.expire_nodest_conn=1    # RS 移除时清理连接
sysctl -w net.ipv4.vs.conntrack=0             # 不使用 conntrack（提升性能）

# 检查 RS 上的 VIP 配置
ip addr show lo | grep 10.0.1.100

# 检查 ARP 抑制
sysctl net.ipv4.conf.lo.arp_ignore    # 应该是 1
sysctl net.ipv4.conf.lo.arp_announce  # 应该是 2

# 检查 LVS 和 RS 是否在同一 L2 域
arping -c 1 -I eth0 10.0.2.10

# 查看各 RS 的连接数
ipvsadm -Ln
# 如果某个 RS 连接数远超其他，检查：
# 1. 权重设置是否正确
# 2. 是否启用了 persistence（导致某些客户端固定到某个 RS）
# 3. 算法是否合适（rr 可能因为长连接不均衡，换成 lc/wlc）

# DR/TUN 模式下，VIP 切换不影响已建立的连接（因为响应不经过 LVS）
# NAT 模式下，VIP 切换会导致所有连接中断

# 解决方案 1：使用 conntrackd 同步连接表
# Master 和 Backup 之间同步 IPVS 连接状态

# 解决方案 2：使用 IPVS 连接同步功能
# Master 配置
ipvsadm --start-daemon master --mcast-interface eth0
# Backup 配置
ipvsadm --start-daemon backup --mcast-interface eth0
# 通过组播同步连接表，切换后已有连接可以继续服务

# 确认 RS 的默认路由指向 LVS
ip route show | grep default
# default via 10.0.2.1 dev eth0  ← 必须是 LVS 的内网 IP

# 如果 RS 有多个网卡，检查策略路由
ip rule show
ip route show table main

# 使用 ipvs_exporter 或直接从 /proc 读取
cat /proc/net/ip_vs_stats_percpu

# 关键监控指标
# 1. 每秒新建连接数 (CPS)
# 2. 当前活跃连接数
# 3. 各 RS 的连接分布
# 4. 入站/出站流量

# 简易采集脚本
#!/bin/bash
# ipvs_metrics.sh — 输出 Prometheus 格式指标
echo "# HELP ipvs_connections_total Total IPVS connections"
echo "# TYPE ipvs_connections_total counter"
ipvsadm --stats -n | awk '/->/{
    split($2,a,":");
    printf "ipvs_connections_total{rs=\"%s\",port=\"%s\"} %d\n", a[1], a[2], $3
}'

echo "# HELP ipvs_active_connections Current active connections"
echo "# TYPE ipvs_active_connections gauge"
ipvsadm -Ln | awk '/->/{
    split($2,a,":");
    printf "ipvs_active_connections{rs=\"%s\",port=\"%s\"} %d\n", a[1], a[2], $5
}'