Tsuki

公告

网站测试中，敬请期待!

Learn More

标签

站点统计

文章

2

分类

1

标签

5

总字数

2,783

运行时长

0 天

最后活动

0 天前

543 字

3 分钟

Linux RDMA

2025-11-25

Linux

/

RDMA

/

fuzz

/

kernel

RXE 传输测试#

Host A

1
# 加载 RXE 模块
2
sudo modprobe rdma_rxe
3

4
# 创建 RXE 设备
5
sudo rdma link add rxe_ens33 type rxe netdev ens33
6

7
# 启动带宽测试服务端（监听所有接口）
8
ib_send_bw -d rxe_ens33

Host B

1
# 加载 RXE 模块
2
sudo modprobe rdma_rxe
3

4
# 创建 RXE 设备
5
sudo rdma link add rxe_ens33 type rxe netdev ens33
6

7
# 连接 Server 并开始测试
8
ib_send_bw -d rxe_ens33 10.225.231.254

虚拟 RDMA 设备驱动实现#

环境配置#

系统信息

系统：Ubuntu 24.04.3 LTS in VMware

内核版本：6.14.0-35-generic

安装软件包#

1
sudo apt update
2
sudo apt install -y qemu-system qemu-utils cloud-image-utils cpu-checker

验证 KVM 可用性#

1
kvm-ok
2
# KVM acceleration can be used

将用户添加到 kvm 组#

这样可以无需 sudo 运行某些 QEMU 操作。

1
sudo usermod -aG kvm $(whoami)

WARNING
可能需要注销并重新登录或者重新连接ssh，用户组的更改才能生效。

创建虚拟机#

1
# 创建工作目录
2
mkdir -p ~/rdma/vm
3
cd ~/rdma/vm
4
# 下载 cloud image (qcow2 格式)
5
wget https://cloud-images.ubuntu.com/noble/current/noble-server-cloudimg-amd64.img

创建差分镜像 (Backing File)#

1
qemu-img create -f qcow2 -F qcow2 -b noble-server-cloudimg-amd64.img my-ubuntu.qcow2 40G

准备 cloud-init#

1
cat > meta-data <<EOF
2
instance-id: ubuntu-$(date +%s)
3
local-hostname: ubuntu-vm
4
EOF

1
if [ ! -f ~/.ssh/id_rsa.pub ]; then ssh-keygen; fi
2

3
cat > user-data <<EOF
4
#cloud-config
5
password: ubuntu # 设置用户密码 (可选)
6
chpasswd: { expire: False }
7
ssh_pwauth: true # 允许密码认证 (可选)
8
ssh_authorized_keys:
9
    - $(cat ~/.ssh/id_rsa.pub)
10
EOF

创建 cloud-init 数据源镜像#

1
cloud-localds seed.img user-data meta-data

配置共享文件夹#

1
# 在宿主机上创建一个用于共享的目录
2
mkdir -p ~/rdma/shared

启动 QEMU 并连接#

1
qemu-system-x86_64 \
2
  -enable-kvm \
3
  -cpu host \
4
  -smp $(nproc) \
5
  -m 2G \
6
  -drive file=my-ubuntu.qcow2,format=qcow2,if=virtio \
7
  -drive file=seed.img,format=raw,if=virtio \
8
  -netdev user,id=net0,hostfwd=tcp::2222-:22 \
9
  -device virtio-net-pci,netdev=net0 \
10
  -virtfs local,path=$HOME/rdma/shared,mount_tag=host_share,security_model=none,id=fsdev0 \
11
  -device virtio-9p-pci,fsdev=fsdev0,mount_tag=host_share \
12
  -nographic -serial mon:stdio

1
ssh ubuntu@localhost -p 2222

配置虚拟机开发环境#

安装软件包#

1
sudo apt update
2
sudo apt install build-essential gcc make git linux-headers-$(uname -r) linux-modules-extra-$(uname -r) rdma-core ibverbs-utils

验证 RDMA 环境#

1
# 获取网卡名称
2
NETDEV=$(ip -o -4 route show to default | awk '{print $5}')
3

4
# 加载 RXE 模块并创建一个 rxe 设备
5
sudo modprobe rdma_rxe
6
sudo rdma link add rxe0 type rxe netdev $NETDEV
7

8
# 查看设备信息
9
ibv_devinfo

hca_id: rxe0 transport: InfiniBand (0) fw_ver: 0.0.0 node_guid: 5054:00ff:fe12:3456 sys_image_guid: 5054:00ff:fe12:3456 vendor_id: 0xffffff vendor_part_id: 0 hw_ver: 0x0 phys_port_cnt: 1 port: 1 state: PORT_ACTIVE (4) max_mtu: 4096 (5) active_mtu: 1024 (3) sm_lid: 0 port_lid: 0 port_lmc: 0x00 link_layer: Ethernet

挂载共享目录#

1
sudo mkdir -p /mnt/host_share
2
sudo mount -t 9p -o trans=virtio,version=9p2000.L,rw host_share /mnt/host_share
3
# 开机自动挂载
4
echo 'host_share /mnt/host_share 9p trans=virtio,version=9p2000.L,rw,_netdev,nofail 0 0' | sudo tee -a /etc/fstab