使用Cudy BE3600自编译固件支持USB无线WIFI上网

手头一台 Cudy BE3600(WR3600,联发科 MT7988)刷了自编译的 OpenWrt,想把一个紫光展锐的随身 WiFi 插到路由器 USB 口上,用它的 4G 流量给全家上网。插上一看:系统能认到 USB 设备,却没有网卡——固件里根本没有 USB 网络驱动。这篇文章把从零编译驱动、踩完三轮内核 panic、最终跑通的完整过程记录下来,重点是那套"从原厂模块反推内核结构体布局"的方法,遇到任何非官方构建的 OpenWrt 固件都用得上。

一、环境与问题

先把事实摸清,后面每一步都建立在这些信息上:

# 路由器:Cudy BE3600(WR3600),mediatek/filogic,aarch64_cortex-a53
# 系统:OpenWrt SNAPSHOT r0-5dcf6a3(厂商/私有树自编译,非公开仓库构建)
# 内核:6.18.52,包管理器为 apk(无 opkg),系统精简:无 depmod/modprobe/readelf
# USB 设备:紫光展锐 1782:4038,接口 0/1 为 RNDIS(Cls=e0 Sub=01 Prot=03)

RNDIS 设备需要的驱动是这一组:mii + usbnet + cdc_ether + rndis_host(即 OpenWrt 的 kmod-usb-net-rndis 家族)。固件的 /lib/modules/6.18.52/ 里这四个一个都没有。直接找现成 kmod 也不行:这个 SNAPSHOT 的构建提交在公开仓库里不存在,内核又是厂商全量配置构建的,别人编的模块 vermagic 和结构体布局都对不上,装不上、装上也崩。

结论:只能自己编。但"自己编"的难点不在编译本身,而在于让自编模块的内核结构体布局与原厂内核逐字节一致。

二、为什么布局必须一致

内核模块不是独立程序,它和内核共享 struct net_device、struct sk_buff、struct net、struct sock 这些核心结构体。模块代码里访问 dev->dev_addr 编译出来就是"基址+固定偏移",偏移错一位,读到的就是别人的字段,轻则功能异常,重则直接 panic。本次实测踩到的门槛依次是:

1)vermagic 与 struct module 尺寸:模块头部的 .gnu.linkonce.this_module 段大小必须与内核一致,否则 insmod 直接拒绝。原厂 cfg80211.ko 里读出来是 704 字节:用 arm64 defconfig 编是 1088,用 OpenWrt 公开配置片段编是 640,补上 CONFIG_KALLSYMS=y 后正好 704。

2)结构体字段偏移:每个被网络栈配置项影响的字段都要对齐,包括 NETFILTER、IPv6、conntrack、802.15.4、PSP 等一堆开关。

3)厂商源码补丁:这台固件的内核是厂商 fork,个别头文件和 vanilla 源码不一样(后文 sk_buff 的坑就是这个),配置层面无解,必须改本地头文件等效对齐。

三、对账方法:拿原厂模块当指纹

没有原厂内核源码、没有 /proc/config.gz、没有 BTF,怎么知道它的配置?答案是用固件自带的 .ko 文件做指纹:这些模块是原厂内核的配置下编出来的,它们的反汇编里写死了各个字段的偏移。具体用了四个文件,各管一摊:

· cfg80211.ko:读 vermagic 和 this_module 尺寸(704)。
· pppoe.ko:pppoe_connect / pppoe_rcv_core 里密集访问 sock、net、net_device、sk_buff,是最全的指纹源。
· tun.ko:收发路径把 skb 的 len/data/head/tail/end 全部内联展开,专治 sk_buff 对账。
· xt_TCPMSS.ko:小而机械,作为 sk_buff 的交叉验证。

工具是 pahole(看自己编的结构体布局)和 objdump(看原厂模块的指令操作数)。核心动作就一个循环:改配置 → 重编探针文件 → pahole 看偏移 → 和原厂模块的反汇编操作数逐条 diff,直到全部对上。举两个实际对出来的结果:

# 原厂 pppoe.ko 中 pppoe_connect 的操作数(节选):
#   ldr x0, [x22, #2952]   -> struct net 的 gen 指针在 2952
#   [x19, #792] / [x2, #800] -> pppox_sock.next 在 792,反推 struct sock = 752 字节
# 本地 pahole 验证 net_device 的关键偏移:
pahole -C net_device net/core/dev.o | grep -E "dev_addr|pcpu_refcnt|ifindex"
#   flags @168  ifindex @216  nd_net @256  dev_addr @984  pcpu_refcnt @1304

四、关键配置是怎么凑出来的

配置基底是 OpenWrt 的 generic + mediatek/filogic 配置片段,用内核自带的 merge_config.sh 合并,再手工补齐"软件包 KCONFIG"——这是最容易漏的一步:公开片段里甚至连 NETFILTER 和 IPV6 都是关着的,而原厂是全量合并所有软件包配置的构建。对账过程中确认的关键项如下:

CONFIG_KALLSYMS=y            # struct module 对齐 704 的决定项
CONFIG_NAMESPACES=y / CONFIG_NET_NS=y
# struct sock = 752 的组合:XFRM + MEMCG + SECURITY + CGROUP_BPF + INET_PSP
CONFIG_NETFILTER=y           # 及 NF_CONNTRACK/NF_TABLES/NF_FLOW_TABLE/NF_NAT/IP_SET 全家
# CONFIG_NETFILTER_EGRESS is not set   # 原厂没有 nf_hooks_egress,flags/ifindex 偏移可证
CONFIG_IPV6=y                # 原厂为内置(modules.builtin 可查),含 IPV6_MULTIPLE_TABLES
CONFIG_NF_CONNTRACK_LABELS=y
CONFIG_IEEE802154=y / CONFIG_6LOWPAN=m   # 补 net_device 的 ieee802154_ptr 与 net 的 lowpan 嵌入
CONFIG_INET_PSP=y            # 簇内候选指针逐项排除后唯一剩下的一个(psp_dev 在 dev_addr 前)

排除法在这里很好用:net_device 里 dev_addr 之前有一串条件指针(tipc/talk/ax25/ieee80211/ieee802154/mpls/mctp/psp),结合固件的模块清单和 modules.builtin 逐个排除——三态子系统在清单里不存在就是关着的,最后只剩 INET_PSP 的 psp_dev 能解释偏移总量。struct sock 的 752 字节同理,是 XFRM、MEMCG、SECURITY、CGROUP_BPF、PSP 五项各贡献一个字段凑出来的。

五、gen 偏移拉锯战:对齐孔会吃掉你的增量

net_device 对齐之后,struct net 还剩最后一个指纹没对上:gen 指针(net_generic 索引数组)原厂在 2952,我方一度在 2944,就差 8 字节。这一节单独讲,因为它是整个对账过程里最耗时的一块,教训也最通用。struct net 的 gen 偏移由它前面所有嵌入子结构体的总大小决定:core、mib 统计、packet、unix、nexthop、ipv4(960 字节)、ipv6(832 字节)、lowpan、nf(192)、ct、nft、flow table,一个都不能错。第一轮按"全量软件包构建"的思路盲猜,一次加了 SCTP、XFRM、CGROUPS 等一大批,结果 gen 冲到 3144,过冲 192——SCTP 的嵌入结构体有 288 字节,而原厂根本没编 SCTP(模块清单里没有 sctp.ko 可以反证)。此后改成逐个嵌入拆解:每加一项就 pahole 看 ipv6 是 832 还是 768(IPV6_MULTIPLE_TABLES 的区别)、ct 是 152 还是 160(NF_CONNTRACK_LABELS 的区别),一步一验。

中间还栽过一个跟头:给 mib 加 XFRM 统计指针,明明多了一个 8 字节成员,gen 却纹丝不动。原因是排在后面的 ipv4 结构体是 64 字节对齐的,新增量正好被它前面的对齐孔"吃掉"了。教训是判断配置增量是否生效,必须直接 pahole 看目标偏移,不能靠加减法推算——结构体里的对齐填充会让账面和实际对不上。

最后收敛到 2944,还差 8 字节。结合 modules.builtin 把候选逐项排除后,确认这 8 字节落在 RNDIS 模块根本用不到的字段上:这四个模块不调用 net_generic、不分配 struct sock,这两处残差不影响它们,才就此收手。这里有个工程判断值得写下来:目标是"模块用到的部分完全一致",不是"指纹百分之百一致"——分清哪些差异是致命的、哪些是无害的,能省下大量时间。

六、编译四个模块

源码用 vanilla linux-6.18.52(与固件同版本),交叉工具链 gcc-aarch64-linux-gnu。usb 家族直接用内核树编,mii 在内核树里是内建符号,需要按外部模块方式单独编一份 mii.c:

export ARCH=arm64 CROSS_COMPILE=aarch64-linux-gnu-
# 合并配置:generic片段 + filogic片段 + config-filter + 手工补的包配置,再 olddefconfig
scripts/kconfig/merge_config.sh -m base.config frag.config mymods.config
make olddefconfig
make modules_prepare
# 无 vmlinux symvers 时必须加 KBUILD_MODPOST_WARN=1,否则 modpost 报错中断
KBUILD_MODPOST_WARN=1 make M=drivers/net/usb        # usbnet/cdc_ether/rndis_host
make -C mii_ext M=$PWD/mii_ext                      # mii 外部模块
aarch64-linux-gnu-strip --strip-debug *.ko
# 打包前三项硬校验,缺一不可:
#   vermagic = "6.18.52 SMP mod_unload aarch64"
#   .gnu.linkonce.this_module 段大小 = 0x2c0(704)
#   usbnet_probe 里读 dev_addr 的指令偏移 = 984

七、安装与开机加载

固件没有 depmod/modprobe,只能 insmod 按依赖顺序手动加载:mii → usbnet → cdc_ether → rndis_host。这里有个用 panic 换来的教训:内核崩溃重启会损坏 overlay 上刚拷贝、还没落盘的文件(实测 usbnet.ko 被清成了 0 字节)。所以安装脚本必须拷贝后 sync、加载前验 md5:

cp mii.ko usbnet.ko cdc_ether.ko rndis_host.ko /lib/modules/6.18.52/
sync
md5sum /lib/modules/6.18.52/*.ko    # 与打包时的 md5sums.txt 逐项核对后再加载
insmod /lib/modules/6.18.52/mii.ko
insmod /lib/modules/6.18.52/usbnet.ko
insmod /lib/modules/6.18.52/cdc_ether.ko
insmod /lib/modules/6.18.52/rndis_host.ko
# 开机自动加载用 OpenWrt 原生机制 /etc/modules.d/,不要用 rc.local:
cat > /etc/modules.d/99-rndis <<'EOF'
mii
usbnet
cdc_ether
rndis_host
EOF

注意 /tmp 是 tmpfs,重启即清空,安装包别只放在 /tmp 就完事——.ko 落到 /lib/modules(闪存)才是持久的。

八、让 USB 网络真正跑起来

模块加载后插入随身 WiFi(设备侧打开 USB 共享),dmesg 出现注册行、ip link 出现 usb0,就成功了一大半:

[ 14.845157] rndis_host 1-1:1.0 usb0: register 'rndis_host' at usb-11200000.usb-1, RNDIS device, 9a:ec:f9:d1:90:4f
ip link set usb0 up
udhcpc -i usb0
# udhcpc: lease of 192.168.1.2 obtained from 192.168.1.1
ping -c3 223.5.5.5    # 3/3 通,约 48ms

最后在 LuCI 里把 usb0 落成正式 WAN:网络 → 接口 → 添加新接口,名称 wwan、协议 DHCP 客户端、设备选 usb0,防火墙设置里归到 wan 区。这样重启自动拨号,LAN 下的设备也能走随身 WiFi 出网。

九、排障实录:三轮 panic 是怎么定位的

这部分是全文最值得看的。每次崩溃都先从 pstore 取证,不要靠猜:

grep -E "Unable to handle|pc :|Call trace" /sys/fs/pstore/dmesg-ramoops-0
tail -30 /sys/fs/pstore/console-ramoops-0

第一、二轮:插上设备就 panic 在 usbnet_probe。崩溃指令是对着字节码逐条解的:probe 里读 net->dev_addr 的那条 ldr x3, [x28, #952] 读回了 NULL,随后 ldrh w2, [x3, #4] 访问地址 0x4 炸掉。根因是 dev_addr 偏移错位:自编布局里它在 952/960,原厂在 984——dev_addr 之前的条件字段集合配错了(多算了 NETFILTER_EGRESS、少算了簇内的指针)。按第四节的方法把 net_device 逐探针点对齐后解决。

第三轮:probe 通过、第一个发送包 panic 在 usbnet_start_xmit+0x38。udhcpc 发 DHCP Discover 时崩掉,寄存器里读出了 0xdead0000 这种毒值。发送入口读的是 skb->head + skb->end,我方 end 在 188、原厂在 184,差 4 字节。这次 pppoe 的指纹没照出来(它的接收路径没内联用到 end),换 tun.ko 和 xt_TCPMSS.ko 对账才锁定:原厂 sk_buff 从 mark 起整体早 4 字节——它的 skbuff.h 里没有 napi_id/sender_cpu 联合体。而 vanilla 源码里 NET_RX_BUSY_POLL 和 XPS 都是无提示符、SMP 下恒开的配置,配置层面根本关不掉,证明原厂改过头文件。本地给 skbuff.h 打等效补丁(去掉该联合体、桩掉 busy_poll 的两个访问函数)重编后,tun_net_xmit、tcpmss_tg4 的 skb 偏移逐条 diff 为零,发送路径就此打通。head/data 因为对齐填充的原因在两种布局里恰好同为 192/200,这也是为什么接收侧一直没事、只有发送侧崩。

另外一个小坑:开机日志里出现过一条 RNDIS init failed, -19,是随身 WiFi 模式切换前第一次枚举的瞬时失败,紧接着第二次枚举就注册成功了,不要被它带偏。

十、常见问题

insmod 报 invalid module format 或 exec format error?多半是 this_module 尺寸或 vermagic 没对上,回到第三节重读原厂 cfg80211.ko 的段大小与版本字符串,不要在布局还没对齐时反复试加载。

模块加载成功,插上设备却没反应?先看 dmesg:只有 USB 枚举、没有 register 'rndis_host' 行,说明 rndis_host 没绑上——确认四个模块都已加载(顺序别错),并在设备侧打开 USB 共享;部分随身 WiFi 要等它自己重启重新枚举后才切到 RNDIS 模式,开机日志里那条 init failed -19 就是切换前的瞬时状态。

usb0 出现了,但 udhcpc 拿不到地址?先把棒子插到电脑上直连验证它的 DHCP 和流量本身正常,再回路由器查;设备侧共享没开、SIM 没流量、棒子处于存储模式都会表现为拿不到租约。

重启后 usb0 又没了?模块没做开机加载。检查 /etc/modules.d/99-rndis 是否存在、模块名是否一行一个;同时记住安装包放在 /tmp 重启会丢,.ko 必须落在 /lib/modules 的闪存里。

sysupgrade 之后驱动失效?必然的:模块与内核版本、布局强绑定,换内核必须按新版本重走对账和编译,没有例外。

路由器自己能 ping 通公网,但 LAN 设备上不了网?wwan 接口没建或没归到 wan 防火墙区,NAT 没生效,回到第七节在 LuCI 里补齐。

十一、注意事项与小结

1)模块与内核版本强绑定:这套 .ko 只适用于 6.18.52 这一个构建,sysupgrade 只要换了内核就必须按新版本重走一遍对账+编译。
2)先取证、后动手:每次 panic 先读 pstore,把崩溃指令和自己编的 .ko 逐条对上再改配置;服务端验证通过但设备上不行时,先怀疑缓存/文件损坏这类低级问题,再怀疑高深的。
3)验证要覆盖使用路径:probe 对了不等于收发对了。用作指纹的原厂模块必须覆盖你担心的代码路径——发送路径的问题,就要用 tun、TCPMSS 这种收发都内联的模块来对账。

最终成果:BE3600 开机自动加载四个模块并绑定 usb0,DHCP 拿到 192.168.1.2/24、网关 192.168.1.1,公网 ping 3/3 通。方法本身比这四个模块更值钱:vermagic/this_module 定尺寸、原厂 .ko 反汇编定偏移、pahole 闭环验证——任何"非官方构建固件缺驱动"的场景,都可以照这个套路把模块编出来。

发表回复

后才能评论