运营商间网络无法互通问题

■ 辽宁 刘嘉琦

编者按：不同运营商网络之间的有效连接与通信对于企业网络连接与业务系统的平稳运行至关重要。本文讲解了笔者单位出现的不同运营商之间的网络出现无法互通的问题，给单位造成不小的影响。笔者针对这一问题进行了详细探讨，并给出了相关解决方案和建议。

由于笔者单位信息化业务发展的需要，现有公网地址已不能满足当前需求。因此公司向中国电信购买了8 个公网地址，为106.38.72.48/29。单位将其中的106.38.72.49 分配给新上线的VPN 使用，作为公网访问的地址。

单位的互联网网络边界定义为边界接入区，边界接入区由一台分带宽交换机、两台负载均衡和两台防火墙组成。电信和联通的线路被分带宽交换机一分为二，分别连接链路负载均衡设备。负载均衡设备连接两台防火墙，防火墙采用双机方式部署。防火墙负责出口的安全策略控制及部分应用服务器的地址转换，利用静态路由与NAT 技术，均衡双出口流量。配置好出接口与区域、NAT 转换与路由通信。防火墙的e0/1 口设置为电信的出口，e0/3 口设置为联通的出口，防火墙的对外接口连接2 个ISP(电信和联通)。

与边界交换区相连的是核心交换区，核心交换区由两台核心交换机组成，交换机采用双机方式部署，VPN 设备以双活模式旁路方式部署在核心交换机上，作为在公司外访问公司业务系统的通道，如图1 所示。

VPN 设备部署完成后，在边界墙上设置地址转换策略通过公网可正常使用。在业务使用过程中，笔者发现接入联通网络（3G、4G、ADSL 等）的终端设备包括电脑、手机、Pad 等无法访问VPN 的电信地址，在接入联通网络的设备上对电信公网地址进行Ping 测试发现不通，路由测试也不可达，如图2 所示。

同时通过对边界防火墙的抓包发现，在联通公网访问此电信公网地址时防火墙上相应端口抓包并无相关数据流量。因此，笔者初步判定运营商间互联互通有问题，此后协调联通和电信两家运行商一起对故障进行了排查。

图1 网络出口拓扑图

1.联通运营商故障排查

登录联通的网管的局端设备进行查看，可以看到去往目的地址106.38.72.49的下一跳为202.97.32.120，如图3 所示。

通过地址排查，可以看出从202.97.32.120 已进入电信网内，区域为AS 4134，如图4 所示。

继续对电信设备地址202.97.32.120 进行Ping 包测试，在发送500 个数据包不丢包后，可以判断数据包已到达电信网内。

2.电信运营商故障排查

经联通确认断点202.97.57.101 下一跳进入北京电信城域网，在电信的断点路由器上运行trace 命令对106.38.72.49 进行测试。查看断点下一跳已进入互联网出口专线的网内，如图5 所示。由此可以判断电信网内路由正常。

通过以上排查可以判断运营商的ISP 路由没有问题，数据的流向从联通到电信是有路由可达，但实际数据却无法访问。因此需要进一步查看设备的回程路由是否正确，即从VPN 返回的数据包是否正确的从电信网络到达联通网络。

图2 路由跟踪图

图3 联通局端设备路由跟踪图

图4 联通跨越电信路由跟踪图

图5 电信设备路由跟踪图

图6 防火墙地址转换日志图

3.边界防火墙排查

由于单位所使用的VPN在功能上无法进行回包测试，同时属于生产业务系统，不能进行断路测试。

因此，为了进一步确认问题，笔者用笔记本电脑搭建测试环境，将笔记本旁路部署在核心交换机上，分配内网地址100.100.1.14，在出口防火墙上做地址转换，转换为公网地址106.38.72.51。此时在防火墙上能查看到目的地址转换的记录，说明已有数据包到达防火墙，如图6 所示。

在笔记本上对目标联通地址进行路由测试，发现访问联通的地址数据包直接从联通的出口发出，访问电信的地址数据包直接就从电信的出口发出，因此无法直接模拟从电信跨越联通的回程路由。

图7 防火墙数据出入抓包图

笔者由此联想到是不是也是同样的原因导致了数据回包不对而造成网络访问不通。为了进一步验证，笔者在防火墙出口上进行抓包，发现了问题所在：从联通访问电信公网地址的数据来包在eth0/1 口进入（电信出口），但回包在eth0/3 口上（联通出口），如图7 所示。

最终确认问题是由于数据包的进出口不一致导致，因此笔者在防火墙的配置上取消逆向路由设置，问题得以解决。

防火墙设备会话表会保存会话信息，并根据会话表进行包转发及安全控制。如果开启了逆向路由功能则返回的会话进入防火墙路由查找模块后需要查返回会话发起的源地址的路由，如策略路由、ISP 路由、目的路由等。此案例中根据ISP 路由查到从eth0/3 路由出去，则该返回会话就会从eth0/3 出去，如果没有查到，再按照原路返回，即从eth0/1 转发出去。如果关闭逆向路由功能则返回会话不进行路由查询，直接按照会话发起的原始方向进行返回，即从eth0/1 转发出去。因此在取消了逆向路由后，数据包的回包直接从进入的端口返回，这样就解决了数据包的出入端口不一致而导致的网络不通的问题。

随着单位信息化的逐步深入，如何发现、定位并快速解决网络故障尤为重要。因此首先需要确定网络故障点，恢复网络的正常运行；
然后发现网络规划和配置中的欠佳之处，改善优化网络性能；
最后观察网络的运行状况，及时预测网络通信质量。

对于企业网络故障问题的排查解决，笔者提出以下建议：

对于可能出现的故障，应坚持每天例行巡检制度。相关巡检人员反馈巡检结果，对当前的状态进行记录，对未来可能发生的问题进行预测。

每周重要时段负责系统与负责网络的相关人员同时巡检，以便遇到故障时及时协调处理。

积累运维经验。单个系统遇访问故障，重点巡查系统本身及其所在服务器；
全局性问题时重点排查交换机、防火墙等网络和安全设备。

建立知识共享机制。网络设备、服务器等相关设备和系统的简易操作进行共享，便于及时诊断故障。

建立与设备厂商的沟通联络机制。运维人员由于自身的局限性，对于设备较为底层的深入操作并不太深入，有时需要厂商介入指导，可以针对紧急情况进行协调处理，减少故障恢复时间。

建立短信告警机制，维护运维人员名单，导入短信发布模板，遇信息系统故障时及时向受影响的用户发布通知。

部署网络监控系统，针对网络出现的故障能及时报警，为排查解决问题争取宝贵时间

建立良好的运营商关系。有些互联网故障需要电信运营商共同解决，而电信运营商所管辖网络运维人员有时并不一定了解，因此在出现故障时可以及时与运营商一起针对业务进行排查，而不至于出现盲区。

企业信息化越来越深入，所涉及的应用系统和管理的网络也会越来越多，建立故障处置机制以及规范网络建设尤为重要。

从技术上来讲，公司应当优化网络结构，扩展网络带宽，更换核心网络设备；
构建信息安全纵深防御，加强网络安全防护技术手段；
优化在公网环境下的便携式计算机使用方式；
构建基于公钥基础密码设施，部署VPN 系统等，建立安全防护体系；
逐步按照国家信息安全相关法规、标准，对系统进行定级、备案、改造、测评和整改。在此基础上，建立信息化故障响应处理机制，确保信息化系统高效而安全的运行。

从管理上来讲，对照技术建设情况，构建符合标准要求和实际管理需要的网络与信息安全保障体系，编制并出台信息安全等级保护顶层制度和安全防护策略文件；
逐步建立应用系统、基础设施、信息安全、应急处置等多层次的管理细则，完善信息化运行维护管理体系，落实定期演练要求，满足网络运行基本要求。