af-xdp

AF_XDP

用途

指导 Agent 使用 AF_XDP 套接字实现高性能数据包 I/O：创建套接字、设置 UMEM、填充环、完成环、RX/TX 环、通过 XDP_REDIRECT 将 XDP 程序重定向到 XSK、复制与零拷贝模式、libbpf 辅助函数、与 DPDK 的性能比较，以及生产环境用例。

使用场景

• 构建开销低于原始套接字的用户空间数据包处理器
• 将经过 XDP 筛选的流量重定向到用户空间，避免 DPDK 的复杂性
• 实现自定义负载均衡器或 IDS 数据平面
• 比较网卡或驱动上的零拷贝与复制模式
• 集成现有的 libbpf/XDP 基础设施
• 需要内核协作（防火墙规则）和用户空间处理

工作流

1. 架构概览

NIC → XDP program (BPF) → XDP_REDIRECT → AF_XDP socket → userspace
                ↓
           XDP_DROP/PASS/TX

组件：

• UMEM — 用于存放帧的共享内存区域
• 填充环 — 用户空间向内核提供空帧地址
• 完成环 — 内核返回已完成的 TX 帧
• RX 环 — 内核传递收到的数据包
• TX 环 — 用户空间提交待发送的数据包

2. 创建 UMEM 和 XSK 套接字

#include <bpf/xsk.h>
#include <bpf/libbpf.h>
#include <xdp/xsk.h>

#define NUM_FRAMES     4096
#define FRAME_SIZE     XSK_UMEM__DEFAULT_FRAME_SIZE
#define RX_BATCH_SIZE  64

struct xsk_umem_info {
    struct xsk_ring_prod fill;
    struct xsk_ring_cons comp;
    struct xsk_umem *umem;
    void *buffer;
};

struct xsk_socket_info {
    struct xsk_ring_cons rx;
    struct xsk_ring_prod tx;
    struct xsk_socket *xsk;
};

int xsk_setup(struct xsk_umem_info *umem_info,
              struct xsk_socket_info *xsk_info,
              int ifindex, int queue_id, int xsk_flags)
{
    umem_info->buffer = mmap(NULL, NUM_FRAMES * FRAME_SIZE,
        PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);

    struct xsk_umem_config umem_cfg = {
        .fill_size = XSK_RING_PROD__DEFAULT_NUM_DESCS,
        .comp_size = XSK_RING_CONS__DEFAULT_NUM_DESCS,
        .frame_size = FRAME_SIZE,
        .frame_headroom = XSK_UMEM__DEFAULT_FRAME_HEADROOM,
        .flags = 0,
    };

    int ret = xsk_umem__create(&umem_info->umem, umem_info->buffer,
        NUM_FRAMES * FRAME_SIZE, &umem_info->fill, &umem_info->comp,
        &umem_cfg);
    if (ret)
        return ret;

    struct xsk_socket_config xsk_cfg = {
        .rx_size = XSK_RING_CONS__DEFAULT_NUM_DESCS,
        .tx_size = XSK_RING_PROD__DEFAULT_NUM_DESCS,
        .libbpf_flags = XSK_LIBBPF_FLAGS__INHIBIT_PROG_LOAD,
        .xdp_flags = XDP_FLAGS_UPDATE_IF_NOEXIST,
        .bind_flags = xsk_flags,  // XDP_ZEROCOPY or XDP_COPY
    };

    return xsk_socket__create(&xsk_info->xsk, "eth0", queue_id,
        umem_info->umem, &xsk_info->rx, &xsk_info->tx, &xsk_cfg);
}

3. 填充填充环

void populate_fill_ring(struct xsk_umem_info *umem) {
    uint32_t idx;
    uint32_t ret = xsk_ring_prod__reserve(&umem->fill, RX_BATCH_SIZE, &idx);
    for (uint32_t i = 0; i < ret; i++)
        *xsk_ring_prod__fill_addr(&umem->fill, idx + i) = i * FRAME_SIZE;
    xsk_ring_prod__submit(&umem->fill, ret);
}

必须确保填充环始终有可用缓冲区；如果没有可用缓冲区，内核会丢弃数据包。

4. XDP 重定向程序

// xdp_redirect.c
#include <linux/bpf.h>
#include <bpf/bpf_helpers.h>

struct {
    __uint(type, BPF_MAP_TYPE_XSKMAP);
    __uint(max_entries, 64);
    __type(key, int);
    __type(value, int);
} xsks_map SEC(".maps");

SEC("xdp")
int xdp_redirect_prog(struct xdp_md *ctx)
{
    int index = ctx->rx_queue_index;
    return bpf_redirect_map(&xsks_map, index, 0);
}

# Load and attach
bpftool prog load xdp_redirect.o /sys/fs/bpf/xdp_redirect
ip link set dev eth0 xdp obj xdp_redirect.o sec xdp

# Pin xsks_map and update with socket fd

5. RX 处理循环

while (running) {
    uint32_t idx_rx = 0, rcvd;
    rcvd = xsk_ring_cons__peek(&xsk_info->rx, RX_BATCH_SIZE, &idx_rx);
    if (!rcvd)
        continue;

    for (uint32_t i = 0; i < rcvd; i++) {
        const struct xdp_desc *desc = xsk_ring_cons__rx_desc(&xsk_info->rx, idx_rx + i);
        uint64_t addr = desc->addr;
        uint32_t len = desc->len;
        uint8_t *pkt = (uint8_t *)xsk_umem__get_data(umem_info->buffer, addr);
        process_packet(pkt, len);
    }
    xsk_ring_cons__release(&xsk_info->rx, rcvd);

    // Return frames to fill ring
    refill_fill_ring(umem_info, rcvd);
}

6. 复制与零拷贝

模式	标志	要求
复制	XDP_COPY（默认）	适用于任何驱动；内核将数据复制到 UMEM
零拷贝	XDP_ZEROCOPY	需要驱动支持（i40e、ixgbe、mlx5 等）

# Check driver ZC support
ethtool -i eth0
# Kernel log on bind:
dmesg | grep xsk
# "Zero-copy enabled" or "Copy mode"

零拷贝：网卡通过 DMA 直接将数据写入 UMEM 帧，实现最低延迟。复制模式：更安全且通用。

7. libbpf xsk.h 辅助函数

# Modern libbpf includes xsk API
pkg-config --libs libbpf
# -lbpf -lxdp (if separate libxdp installed)

关键函数：

• xsk_umem__create / xsk_umem__delete
• xsk_socket__create / xsk_socket__delete
• xsk_umem__get_data — 根据帧地址获取指针
• xsk_socket__fd — 用于集成 epoll/poll

8. 与 DPDK 的性能比较

因素	AF_XDP	DPDK
设置复杂度	中等	高（hugepages、EAL）
内核集成	内核中的 XDP 筛选器	完全绕过内核
典型吞吐量	启用 ZC 时接近 DPDK	最高
网卡绑定	保留内核驱动	绑定 vfio/uio
适用场景	筛选 + 选择性用户空间处理	完全接管数据平面

9. 生产环境模式

Common deployments
├── CDN edge cache — XDP_DROP junk, redirect cacheable to XSK
├── DDoS mitigation — XDP_DROP attack patterns
├── Load balancer — XDP_TX hairpin or redirect to backend XSK
└── Observability — mirror subset to XSK for analysis

# Multi-queue: one XSK per RX queue, pinned to CPU
taskset -c 2 ./xsk_app --queue 2

常见问题

现象	原因	修复方法
RX 环中没有数据包	XDP 程序未进行重定向	检查队列索引对应的 xsks_map 条目
创建套接字时出现 EBUSY	已附加 XDP 程序	先执行 ip link set dev eth0 xdp off
零拷贝回退到复制模式	驱动不支持 ZC	检查 dmesg；使用受支持的网卡
数据包丢失	填充环为空	积极补充缓冲区；增大 NUM_FRAMES
TX 无法工作	未轮询完成环	处理完成环以回收帧
权限被拒绝	需要 CAP_NET_RAW	使用适当的权限运行

相关技能

• skills/observability/ebpf — XDP/BPF 程序开发
• skills/async-io/dpdk — 完全绕过内核的替代方案
• skills/async-io/io-uring — 用于非数据包工作负载的异步 I/O
• skills/observability/ebpf-rust — 使用 Aya 在 Rust 中开发 XDP
• skills/profilers/linux-perf — 分析 XDP 程序的 CPU 使用情况
• skills/allocators/numa-programming — NUMA 本地 UMEM 分配