一篇搞懂Docker网络基础 - Linux网桥工作原理与实现(超详细~)
Linux 的 网桥 是一种虚拟设备(使用软件实现),可以将 Linux 内部多个网络接口连接起来,如下图所示:

而将网络接口连接起来的结果就是,一个网络接口接收到网络数据包后,会复制到其他网络接口中,如下图所示:

如上图所示,当网络接口A接收到数据包后,网桥 会将数据包复制并且发送给连接到 网桥 的其他网络接口(如上图中的网卡B和网卡C)。
Docker 就是使用 网桥 来进行容器间通讯的,我们来看看 Docker 是怎么利用 网桥 来进行容器间通讯的,原理如下图:

Docker 在启动时,会创建一个名为 docker0 的 网桥,并且把其 IP 地址设置为 172.17.0.1/16(私有 IP 地址)。然后使用虚拟设备对 veth-pair 来将容器与 网桥 连接起来,如上图所示。而对于 172.17.0.0/16 网段的数据包,Docker 会定义一条 iptables NAT 的规则来将这些数据包的 IP 地址转换成公网 IP 地址,然后通过真实网络接口(如上图的 ens160 接口)发送出去。
接下来,我们主要通过代码来分析 网桥 的实现。
【文章福利】小编推荐自己的Linux内核技术交流群:【891587639】整理了一些个人觉得比较好的学习书籍、视频资料共享在群文件里面,有需要的可以自行添加哦!!!前100名进群领取,额外赠送一份价值699的内核资料包(含视频教程、电子书、实战项目及代码)


网桥的实现
1. 网桥的创建
我们可以通过下面命令来添加一个名为 br0 的 网桥 设备对象:
然后,我们可以通过命令 brctl show 来查看系统中所有的 网桥 设备列表,如下:
当使用命令创建一个新的 网桥 设备时,会触发内核调用 br_add_bridge() 函数,其实现如下:
br_add_bridge() 函数主要完成以下几个工作:
调用 new_nb() 函数创建一个 网桥 设备对象。
调用 __dev_get_by_name() 函数检查设备名是否已经被注册过,如果注册过返回错误信息。
将 网桥 设备对象添加到 bridge_list 链表中,内核使用 bridge_list 链表来保存所有 网桥 设备。
调用 register_netdev() 将网桥设备注册到网络设备中。
从上面的代码可知,网桥 设备使用了 net_bridge 结构来描述,其定义如下:
在 net_bridge 结构中,比较重要的字段为 port_list 和 hash:
port_list:网桥端口列表,保存着绑定到 网桥 的网络接口列表。
hash:保存着以网络接口 MAC地址 为键值,以网桥端口为值的哈希表。
网桥端口 使用结构体 net_bridge_port 来描述,其定义如下:
而 net_bridge_fdb_entry 结构用于描述网络接口设备 MAC地址 与 网桥端口 的对应关系,其定义如下:
这三个结构的对应关系如下图所示:

可见,要将 网络接口设备 绑定到一个 网桥 上,需要使用 net_bridge_port 结构来关联的,下面我们来分析怎么将一个 网络接口设备 绑定到一个 网桥 中。
网桥是工作在 TCP/IP 协议栈的第二层,也就是说,网桥能够根据目标 MAC 地址对数据包进行广播或者单播。当目标 MAC 地址能够从网桥的 hash 表中找到对应的网桥端口,说明此数据包是单播的数据包,否则就是广播的数据包。
2. 将网络接口绑定到网桥
要将一个 网络接口设备 绑定到一个 网桥 上,可以使用以下命令:
上面的命令让网络接口 eth0 绑定到网桥 br0 上。
当调用命令将网络接口设备绑定到网桥上时,内核会触发调用 br_add_if() 函数来实现,其代码如下:
br_add_if() 函数主要完成以下工作:
调用 new_nbp() 函数创建一个新的 网桥端口 并且添加到 网桥 的 port_list 链表中。
将网络接口设备设置为 混杂模式。
调用 br_fdb_insert() 函数将新建的 网桥端口 插入到网络接口 MAC地址 对应的哈希表中。
也就是说,br_add_if() 函数主要建立 网络接口设备 与 网桥 的关系。
3. 网桥中的网络接口接收数据
当某个 网络接口 接收到数据包时,会判断这个 网络接口 是否绑定到某个 网桥 上,如果绑定了,那么就调用 handle_bridge() 函数处理这个数据包。handle_bridge() 函数实现如下:
br_handle_frame_hook 是一个函数指针,其指向 br_handle_frame() 函数,我们来分析 br_handle_frame() 函数的实现:
br_handle_frame() 函数的实现比较简单,首先对 网桥 进行上锁操作,然后调用 __br_handle_frame() 处理数据包,我们来分析 __br_handle_frame() 函数的实现:
__br_handle_frame() 函数主要完成以下几个工作:
首先将从数据包中学习到的MAC地址插入到网桥的hash表中。
如果数据包是一个广播包(目标MAC地址的第一位为1),那么调用 br_flood() 函数把数据包发送给连接到网桥上的所有网络接口。
调用 br_fdb_get() 获取目标MAC地址对应的网桥端口,如果目标MAC地址对应的网桥端口存在,那么调用 br_forward() 函数把数据包转发给此端口。
否则调用 调用 br_flood() 函数把数据包发送给连接到网桥上的所有网络接口。
函数 br_forward() 用于把数据包发送给指定的网桥端口,其实现如下:
br_forward() 函数通过调用 __br_forward() 函数来发送数据给指定的网桥端口,__br_forward() 函数首先将数据包的输出接口设备设置为网桥端口绑定的设备,然后调用 dev_queue_xmit() 函数将数据包发送出去。
而 br_flood() 函数用于将数据包发送给绑定到 网桥 上的所有网络接口设备,其实现如下:
br_flood() 函数的实现也比较简单,主要是遍历绑定到网桥的所有网络接口设备,然后调用 __br_forward() 函数将数据包转发给设备对应的端口。
