服务器多网卡多路由策略 _服务器

场景背景与需求某公司新买一台服务器, 服务器资源(cpu,内存,硬盘)比较多,并且有多个网卡。
运维工程师为了节省资源，在服务器上搭建多个服务，希望通过多个网卡实现流量分流。
但由于运维工程师对网络理解不够深入，将服务器的多个网卡都配置了同一个网段。
最后的结果是并不能正常的访问这多个服务。

文章插图

场景分析

网卡设置了IP地址后，会产生一个与IP地址同网段的路由条目, 并与当前网卡名对应。
如果多个网卡设置同网段IP地址后，会产生多个同网段的路由条目，并与不同网卡名对应。

假设两个网卡eth0,eth1分别配置10.1.1.5/24与10.1.1.6/24. 则会产生以下路由
10.1.1.00.0.0.0255.255.255.0U000 eth010.1.1.00.0.0.0255.255.255.0U000 eth1如果不同客户端通过这两个IP进来访问不同的服务。进来会从不同网卡进，但回去时就会都从eth0回去(因为路由会从上往下读取，所以默认只会读上面一条)
测试实验:
1, 准备一个虚拟机模拟服务器，开两个网卡，都为同一个网络, 配置两个同网段IP 。

server# ip addr |grep eth -A 1eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000link/ether 52:54:00:41:e4:22 brd ff:ff:ff:ff:ff:ffinet 10.1.1.5/24 brd 10.1.1.255 scope global br0eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000link/ether 52:54:00:39:c0:e6 brd ff:ff:ff:ff:ff:ffinet 10.1.1.6/24 brd 10.1.1.255 scope global eth1

2, 用另一台机器模拟客户端，使用ping来访问以上2个IP 。

client# ip neigh |grep -E "^10.1.1.5 |^10.1.1.6 "10.1.1.5 dev eth0 lladdr 52:54:00:41:e4:22 REACHABLE10.1.1.6 dev eth0 lladdr 52:54:00:41:e4:22 REACHABLE

说明:

按照arp协议原理, 访问哪个IP它才会回应mac地址。
而现在的结果是mac地址都为10.1.1.5对应的mac地址。
这是因为linux系统内核参数默认做了设置, 访问同一机器的网卡IP，如果这个网卡挂了，另外一个同网段的网卡会帮助回应。可以比喻成（张三，李四两个网卡同一台机器，就是一家人，找张三，张三回，找李四，也张三回）

文章插图

3，在服务器上修改内核参数

server# vim /etc/sysctl.conf# 添加以下参数net.ipv4.conf.eth0.arp_ignore = 1net.ipv4.conf.eth0.arp_announce = 2net.ipv4.conf.eth1.arp_ignore = 1net.ipv4.conf.eth1.arp_announce = 2net.ipv4.conf.all.arp_ignore = 1net.ipv4.conf.all.arp_announce = 2server# sysctl -p# 用此命令让其生效

说明: 这几个参数的目的就是把上面的一家人（张三又回应张三也回应李四)的情况变成了原本的arp情况(张三只能回张三，李四只能回李四)
4, 再次客户端测试
client# arp -d 10.1.1.5client# arp -d 10.1.1.6说明: arp -d可清除arp协议访问的mac地址缓存。建议清除再测试
最终结果:
客户端只能ping通10.1.1.5了, ping不通10.1.1.6了(这就对了，因为一台机器双网卡同网段会路由冲突）
这个实验就验证了场景中的情况:

服务器多网卡同网段，客户端从不同网卡IP访问进来，却都从第1个网卡回应
如果修改内核参数，则客户端只能访问第一张网卡的服务

场景解决方案如果以上场景已经发生，如何解决?

将多网卡改成不同网段IP(这样做可能项目要修改的工作量很大，很多配置要重配)
通过策略路由来解决(不需要修改IP，只需要添加路由表将多个网卡流量分开)

策略路由的做法也非常简单，在服务器上做以下操作

server# echo 100 server1 >> /etc/iproute2/rt_tables server# echo 200 server2 >> /etc/iproute2/rt_tables server# ip rule add from 10.1.1.5 table server1server# ip rule add from 10.1.1.6 table server2server# ip route add default via 10.1.1.5 table server1server# ip route add default via 10.1.1.6 table server2

说明: