电信运营商IDC业务监控系统的应用与实践

李 然，张长恒，秦 蒙，郑亚如，张茂兴

（1.中国移动通信集团山东有限公司济宁分公司，山东 济宁 272000；
2.重庆电力高等专科学校，重庆 400053）

电信运营商互联网数据中心（Internet Data Center，IDC）业务是以电信运营商集团和各省分电信运营商IDC平台的各级节点机房的基础设施、相关网络资源和技术支撑能力为依托，为政府、企业、互联网服务提供商、互联网内容提供商等客户提供的包括主机托管、带宽出租、主机租赁、内容分发网络（Content Delivery Network，CDN）服务、域名服务以及域名系统（Domain Name System，DNS）解析等基础类业务，还包括移动业务应用、数据存储、安全服务等增值类业务[1]。IDC业务为电信运营商发展战略性业务，是电信运营商为集团客户提供高质量网络及配套服务的重点业务。目前，电信运营商对于自有网络设备的维护工作设有完善的管理机制，但对于IDC客户内部网络或设备异常的监控并没有相关的技术手段，只能被动搜集客户投诉进而协助客户进行处理[2]。因此，将IDC客户内部网络或设备异常的监控和处理由被动变为主动，对于提升客户服务满意度有重大意义。基于以上背景，探索一种IDC客户业务监控系统，实现24 h不间断监测IDC客户业务状态，主动预警并通知客户进行处理[3]。

目前，电信运营商IDC面向客户提供的主要服务是带宽出租和主机托管等基础类业务服务。提供该类服务时，电信运营商负责为客户入驻提供相应的空间、带宽、电力等配套服务，而后期客户操作系统、Web应用业务的部署维护工作均由客户自身完成。客户交换机、服务器等设备在不间断的运行期间，难免出现设备宕机、网络不稳定、业务异常等问题，电信运营商当前的告警平台仅监测到与客户直连设备的链路状态，无法监测到客户内部网络或设备的异常，客户内部服务器死机、丢包、延迟高等问题无法触发电信运营商设备告警[4]。IDC客户故障场景如图1所示。

由图1可知，A客户交换机及A服务器均为客户自有资产，A客户交换机直连电信运营商网络设备，当客户交换机至电信运营商网络设备链路发生中断时，电信运营商自有设备出现端口中断告警，并将告警传送至电信运营商告警平台，进而通知电信运营商维护人员处理[5]。当客户交换机至客户服务器链路中断或者客户服务器宕机时，电信运营商网络设备未发生链路中断告警，因此其告警平台无法监控。该类故障会影响客户业务异常甚至中断，通常由IDC客户联系电信运营商处理，电信运营商处理不及时等问题极易导致客户投诉，对客户使用感也产生了一定的负面影响[6]。

图1 IDC客户故障场景示意图

2.1 目标主机端口扫描

在目标主机未禁用因特网包探索器（Packet Internet Grope，PING）协议的情况下，直接在远程终端上PING目标主机网际互连协议（Internet Protocol，IP）地址即可判断目标主机的存活状态。当目标主机禁用PING协议时，这种情况下无法再使用PING指令判断目标主机的存活状态。同时，对单个主机来说，其对外提供的各类应用服务一般为IP地址和端口号的形式，其中端口号的范围为0～65 535，例如用于Telnet登录服务的23端口、浏览网站服务的80端口等。因此可以采用扫描目标主机端口状态的方式，确认目标主机使用的服务明细。

Nmap（Network Mapper）是一款开源免费的针对大型网络的端口扫描工具，其利用TCP3次握手的原理检测目标主机是否在线、主机端口开放情况、主机提供的服务、主机运行的服务类型及版本信息以及主机操作系统与设备类型等信息，配置目标IP地址和可选参数后即可工作[7]。Nmap支持单台或者多台目标主机扫描，也支持单个端口或者全部端口的扫描。Nmap将目标主机的端口分成Open（开放的）、Closed（关闭的）、Filtered（被过滤的）、Unfiltered（未被过滤的）、Open|Filtered（开放或者被过滤）以及Closed|Filtered（关闭或者被过滤的）等6种状态，根据端口状态即可确认对应的服务是否正常，当Nmap扫描的端口状态为OPEN时，端口对应的服务为开通状态，NMAP扫描的端口状态为CLOSED时，端口对应的服务为关闭状态。为了确保检测全面，利用Nmap扫描目标主机时选择扫描其全量端口，具体指令为 Nmap -Pn -p 1-65535 目标主机 IP 地址[8]。

2.2 目标主机端口状态监测

利用Nmap梳理出目标主机的所有开放端口和对应的服务后，下一步检测目标主机每个开放端口的网络质量。

Tcping工具是一款TCP监控辅助的开源工具，其使用TCP协议尝试与目标主机的指定端口建立连接，然后获取与目标主机建立一次连接的回复。Tcping既可以检测目标主机的端口存活情况，也可以检测远端主机到目标主机开放端口的网络延迟时间。本系统采用Tcping工具核查目标主机的端口状态和网络延迟时间，具体指令为Tcping目标主机IP地址端口[9]。

为改变电信运营商无法监测IDC客户内部业务状态的现状，设计一种IDC客户业务监控系统（以下简称监控系统），如图2所示。该系统对客户业务的IP地址和业务端口进行不间断的状态检测，同时监测记录业务端口的网络延迟等关键指标，从而全面评估客户业务的状态和质量，并将客户业务状态和质量等关键参数通过邮件、微信等多种方式通知电信运营商维护人员和客户，提升电信运营商IDC运维工作的主动性，推动电信运营商IDC业务服务质量的全面提升。

图2 监控系统工作示意图

监控系统的工作原理：首先调用Nmap工具对目标主机进行端口服务快速扫描，记录开放的端口和服务信息，其次利用Tcping工具再次判断端口服务的状态和网络延迟时间，统计周期时间内端口服务的状态变化和平均网络延迟，最后将告警信息、统计结果以微信和邮件等多种方式通知相关人员[10]。

监控系统包括4大模块，分别是监控系统部署、客户业务检测、告警提醒以及信息统计模块，如图3所示。

图3 监控系统模块

3.1 系统部署

（1）硬件部署。为保证设备性能，服务器建议配置Intel酷睿、至强处理器、16 GB及以上内存、512 GB存储，由于需要对客户业务进行低强度的扫描，因此需要稳定的网络接入，建议带宽在100 MB或以上。

（2）软件部署。服务器安装Linux操作系统，Ubuntu、Centos等操作系统均可，由于系统基于Linux原生shell脚本语言开发，操作系统仅需安装开源网络扫描软件 Nmap（Network Mapper）和 Tcping工具。

（3）系统配置。系统配置文件需设定目标主机的IP地址列表，存放系统数据的数据库账号、密码信息，告警提醒和信息统计中的发件人和收件人邮箱列表，微信API接口，业务检测周期等参数。

3.2 业务检测

该模块为系统的核心功能，借助开源工具Nmap和Tcping工具不间断检测客户业务状态，如图4所示。业务检测功能实现步骤如下文所述。

图4 业务检测步骤

（1）系统调用Nmap，读取系统配置文件中的客户IP地址列表后，批量检测客户IP地址的开放端口明细，将每1个IP地址的开放端口明细存放到数据库中。

（2）系统调用Tcping工具，读取数据库中的全量开放端口，检测所有开放端口的关键指标，包括开放端口当前的状态和网络时延，同时将检测结果再次存放至数据库中，并记录本次的检测时间点。

（3）系统循环执行上述步骤，循环执行周期间隔可灵活设定，为确保客户业务监控的时效性，建议循环间隔时间设定为15 min。

3.3 告警提醒

根据业务检测模块的检测结果，周期时间内若客户IP地址的端口由开放状态转变为关闭状态后，可判定为客户侧业务中断，此时告警提醒模块将涉及的客户IP地址、端口通过邮件、微信API等多种方式通知维护人员及客户。同理，若客户IP地址端口由关闭状态转变为开放状态后，可判定为客户侧业务正常恢复。

3.4 信息统计

除可主动预警外，系统还为维护人员提供了可视化的日志等信息的统计功能，通过统计业务检测模块中的结果文件，向维护人员提供客户业务中断时长、平均时延等详细信息，方便维护人员进行分析定位，提升故障处理效率。

该系统已在山东移动运行，自应用以来，累计监测到IDC客户宕机785次，主动联系客户确认设备宕机原因，并协助客户进行设备重装、重启等操作。累计监测客户设备启动后业务异常的情况536次，精确发现并处理客户网络延迟过大等异常问题125次，监测发现某重要CDN客户8台服务器Web服务端口网络延迟较日常增长200%，联系客户确认异常原因为服务器进程吊死。以上异常信息均第一时间通过微信、邮件等途径通知客户处理，将客户侧的业务异常发现时间缩短至15 min以内，改善了IDC客户对电信运营商IDC服务的认可。

IDC业务是电信运营商重点业务之一，提升IDC客户服务满意度对电信运营商有重要意义。文章基于端口扫描、端口状态检测等多种技术，设计了1种IDC客户业务监控系统。该系统对客户的IP地址和业务端口进行不间断的状态检测，并记录业务端口的网络延迟等关键指标，从而全面评估客户业务的状态和质量。本系统有效提升了IDC客户服务满意度，推动了电信运营商IDC业务服务质量的全面提升。