| |
| IP网络监测需求看热 |
|
|
| www.comcw.cn 2007-10-09 13:19 刘晖 段德全
|
IP网络服务质量(IP Quality of Services,IP QoS)保证机制的研究是互联网领域和电信领域的共同热点,IP网络的网络性能进行测量、分析、评价、控制、调整受到越来越多的关注…… IP网络服务质量(IP Quality of Services,IP QoS)保证机制的研究是互联网领域和电信领域的共同热点,是在IP网络上提供多媒体通信业务时的基础之一。目前已经提出了多种具体技术和相关的解决策略,这些技术和策略有着各自的技术特点和适用范围,在不同IP网络的建设中和IP多业务支持的环境中,具体的应用效果也不尽相同。在这种情况下,对IP网络的网络性能进行测量、分析、评价、控制、调整受到越来越多的关注。 目前,在这些领域均已经取得了一些研究成果,但是从整体研究水平来看,尚处于起步阶段。这个研究领域的发展空间较大,尤其是随着各种IP QoS保证技术在IP网络中的应用,IP网络性能监测与分析技术会受到更多的重视,将成为新的IP网络研究热点。 通常情况下,网络管理人员只对几个重要的网络环节进行QoS监测。因此可考虑三种方式来实现对重要环节网络性能的监测: 直接使用现有路由器或交换机自身具备的流量测量功能,具体利用路由器的Netflow软件来实现;在路由器上采用ISE卡实现对重点链路的监控;在IP传输链路中串入或并入流量分析设备来获得流量信息。 通过上述监测机制可以获得网络的状态信息,以便在感知到网络阻塞发生或将要发生时能够实时地改变网络路由。但在这种方式下,大流量的数据采集会消耗设备的CPU和存储资源。另外,如果采用抽样技术,则相对观测粒度较粗,而且还需要在网络设备中或在网络中添加专用的高速接口的流量监测设备数据采集设备,增加了系统的成本投入。 IPFIX与PSAMP标准 IPFIX(IP Flow Information Export,IP流动信息输出)是IETF的技术人员2004年才制订的一项规范,使得网络中流量统计信息的格式趋于标准化。该协议工作于任何厂商的路由器和管理系统平台之上,并用于输出基于路由器的流量统计信息。 IPFIX定义的格式为Cisco的NetFlow Version 9数据输出格式作为基础,可使IP流量信息从一个输出器(路由器或交换机)传送到另一个收集器。因为IPFIX具有很强的可扩展性,因此网络管理员们可以自由地添加或更改域(特定的参数和协议),以便更方便地监控IP流量信息。使用模板的方便之处在于网管和厂商不必为了用户能够查看流量统计信息,而每次都要更换软件。 为了完整地输出数据,路由器一般以七个关键域来表示每股网络流量:源IP地址、目的地IP地址、源端口、目的端口、三层协议类型、服务类型(Type-of-service)字节、输入逻辑接口。如果不同的包中所有的七个关键域都匹配,那么所有这些包都将被视为属于同一股流量。此外,一些系统中还有为了网络统计进行跟踪而附加的非关键域,包括源IP掩码、目的地IP掩码、源地址自治系统(autonomous system)、目的地自治系统、TCP flag、目的地接口以及IP next-hop等。按照IPFIX标准,如果网络操作人员想以附加的非关键域来描述包,那么基于模板的格式会在输出包的报头之后插入一个新域,并新增新的模板记录。 PSAMP(packet sampling,IP数据包采样)是IETF的PSAMP小组所制订的一项标准,它规定了对IP数据包选择的采样和过滤方法。虽然目前存在专门的数据包捕获设备,但其硬件成本和排它性的实施方法阻碍了它的进一步发展。而PSAMP标准的推出,使得这一过程完全可以在数据通过路由的同时完成。重要的是,在不同的应用环境和不同情况下,在这一标准的基础上灵活地采用不同的采样或过滤算法实现包的捕获,从而提高应用系统的灵活性和鲁棒性。根据定义,其包捕获方法主要有基于内容的采样、均衡的伪随机采样、根据哈希函数的采样等。 网络监测系统框架 采用不同的检测方法,通过分布式监测方式对通过高速IP网络的数据包进行统计和分析。采集服务器搜集的数据包及统计数据被传送到综合服务器,经合并处理后存入数据库,并进行进一步的分析处理。在这个过程中,可应用Netflow v9、IPFIX以及PSAMP等标准和协议,实现对采集数据的编码与传输。与通常的SNMP、Netflow及其它网管标准不同的是,该框架采取了PSAMP标准及技术,在不降低监测与分析效果的情况下,尽量减少检测数据量。 整个框架从总体看,可分为网络流量数据采集和网络数据分析两大部分。 网络流量数据采集:为适应不断发展的高速网络应用,框架中采用了分布式网络流量数据采集方案,IP流数据可从不同的设备以不同的方法来获取。利用路由器/交换机的数据流量采集功能或是从其他IPFIX/PSAMP数据采集设备,也可直接从网络接口卡等网络数据包摄入设备来得到网络数据,然后再以不同的标准(IPFIX、PSAMP、Netflow等),最终由网络流量数据采集服务器将所有传来的不同格式的数据集中。 为体现现代计算机应用中的兼容性,框架中对网络硬件接口的应用方面,突出了其应用多样性。这样,在原有硬件设备的基础上,如普通的网卡(NIC)、基于硬件时间戳的Endace DAG卡或者其它的专用FPGA网络接口设备,都可以在libpcap、winpcap等库的支持下,由BPF虚拟处理器作为缺省的包捕获工具。在包捕获的软件实现上,采用了多线程机制,使用不同形式的数据队列和数据缓冲设备,以应对突发的大量数据包。 接下来对捕获的数据包,分别交由两种方法和途径进行处理:在Netflow标准支持下,同步完成记帐业务。在这种操作模式下,传送的总的数据量可以被统计下来。数据分析模块利用PSAMP协议,根据不同的具体需求采取不同的取样算法,对数据包进行过滤和抽取以进行分析处理。这样就可以根据实际的需要来进行选择,以减少传输和分析处理的数据量。 网络数据分析:对采集来的网络流量数据,根据不用的应用要进行详细的分析处理。框架中这个部分的设计采用以SQL数据库为中心的分布式数据集中和分析的方法。 以DBMS为中心的操作可以获得更好的分析样本以及统计粒度。此外,为便于网络管理人员的操作,框架中应用基于Web的直观的、图形化的管理界面,所有数据输出都以脚本语言(XML)的形式,直接在Web页面中显示。管理人员可以实时观察网络运行状况,还可以对历史数据进行浏览、分析,同时还可这些实时数据传送到其他应用系统,如分布式入侵检测系统、网络跟踪等。 全新的DIDS 入侵检测作为一种积极主动地安全防护技术,应在网络系统受到危害之前拦截和响应入侵。目前的入侵检测系统大多使用监听的方式捕获网络中的数据包,然后采用一定的检测算法对每个数据包或满足某一条件的数据包进行分析。虽然这种系统通常以并联的方式接入网络,但如果其检测速度跟不上网络数据的传输速度,那么检测系统就会漏掉其中的部分数据包,从而导致漏报而影响系统的准确性和有效性。 基于这一框架,结合当前的分布式入侵检测系统(Distributed Intrusion Detection System,DIDS),建立了一个全新的DIDS,现将其中相关内容介绍如下: 系统分为两部分,中央处理机和分布式的数据采集和分析系统。而后者完全基于文章中的框架,它又主要有四个主要部件构成:传感器、探测器、数据库和模型产生器。传感器接收从网络或者主机来的原始数据,按照一定的包捕获算法,按PSAMP标准从原始数据中提取事件,并按照预定的格式发送给探测器和数据库。检测器接收从传感器发来的数据,将这些数据与已有的入侵模型进行匹配,判断是否有入侵行为发生。数据库用于存放格式化的数据和已有的模型。模型产生器则从数据库中获取数据,按照这些数据自适应地建立或调整检测模型,并将模型存放到数据库中。和原先的系统相比,采用文中框架后的系统有几个独特的地方。首先,系统各个模块之间的通信采用了基于IPFIX的统一的数据格式,这样使得原始数据的获取具有很大的灵活性,原始数据可以来自主机或来自网络,而且各分析主机可以工作在不同的平台上。其次,模型的建立由独立的模块完成,且该模块具有自适应性。将建立模型的操作从检测中分离出来,可以使得系统结构设计变得十分清晰,在算法的使用上也变得十分灵活。模型建立算法可以是基于数据挖掘的,也可以是基于概率分布的。基于文中框架的DIDS,对于检测新的入侵方式上有比较大的优势,和传统的检测方法结合起来,可以达到很好的检测性能,而且具有反应速度快、模型建立的智能性、平台无关性、分布的灵活性、低网络数据流量、协作性等优点。 IP网络服务质量保证机制的研究是在网络上提供多媒体通信业务时的基础,而IP网络性能监测与分析技术则是这一研究的核心。文中提出了一个IPFIX标准和PSAMP协议相结合的系统框架,在不同的应用环境和不同的应用机制下,可以在不同硬件的网络环境中,对高速IP网络的网络流量的实时监测和管理,并且能够对网络数据进行实时分析,即实现网络上流量数据的分布式存储及其同步分析。在这一框架的基础上,建立了一个全新的分布式入侵检测系统,与传统的IDS相比,该系统具有非常高的检测性能,而且可以采取灵活的配置方案,以适用于不同的应用环境。 IP网络性能测试系统介绍 Chariot软件是由美国著名的软件公司NetIQ公司开发的,NetIQ公司是目前全球领先的网络与电子商务全面解决方案提供商。Chariot是目前唯一成为工业界标准的IP网络与网络设备应用层测试系统,“Tested With Chariot”是公认的网络与设备性能测试标志。 Chariot测试原理是通过主动式定量的测试方式,产生模拟的真实的流量,测试网络设备或网络系统在真实应用下端到端的性能。同时,Chariot采用分布式的结构,可以对任何规模或形式的网络进行性能测试。 和传统的物理层测试不同,Chariot是通过模拟各种真实的网络应用流量来测试网络和网络设备。这样做的好处是能够验证网络或网络设备在具体应用时的表现,因为对于任何网络或网络设备来说,如果它在实际应用时性能表现良好的话,那我们可以认为这个网络系统的各方面都是良好的,这也是应用层测试的特点所在。而通过应用Chariot,能够使网络集成商或设备供应商站在实际用户的角度去了解与优化网络与网络设备的性能。通过其独特的主动式定量分析功能,可在网络或网络设备交付客户使用之前了解网络在各种应用情况下的性能表现,制定相应的SLA,给用户以准确、直观的网络性能报告,并可以此作为基准,为未来的网络优化与扩容提供依据。目前 Chariot 支持多种协议包括TCPRTPUDP等,最新还支持 IPv6。并自带了包括FTP、HTTP、WEB、SAP、Exchange、IPTV、Real、VoIP、Multicasting等在内的120余种主流网络应用脚本,并能根据用户的实际测试要求修改、编写教本,能单独或并发模拟多种数据、流媒体、VoIP等数据应用。其测试的准确性已得到了各IT企业的一致认可。
Chariot网络与网络设备性能测试软件在无线通讯应用中也能发挥巨大的作用,可以对采用IP技术的无线网络或设备进行应用性能方面的评估与测试,目前已被Ericsson、T-Mobil、NTT、DoCoMo、France Telecom与Bouygues Telecom等著名电信、移动运营商所采用,测试的领域包括GPRS、CDMA的数据业务与WLAN等,测试环境包括定点测试与移动测试两种。
与传统的测试手段与工具相比,Chariot在无线通讯数据业务应用性能测试方面提供了一个灵活、便捷、廉价的测试方案。通过应用Chariot,运营商能对各种网络的改变如多网、异构网的合并、新用户、新应用、新设备的加入、不同ISP之间的接入等进行预先的性能评估与测试,对网络性能的影响作一个系统、全面的了解,并可在网络状态改变完成后对网络性能进行验证。
同时,Chariot网络测试软件在使用上也非常的灵活。传统的物理层测试手段一般都是用硬件测试设备,部署与使用都要投入较大的人力与物力,尤其是在对较大规模网络进行测试时,还需要更多额外的设施与配置。比如测试中的时间同步,就需要GPS设备并且要在各个测试点布置人员以便协助测试。此外,硬件高昂的采购费用也使全网测试变得非常困难。而通过使用Chariot,您可以很方便的在中央控制室对远方的任何规模的网络进行点到点、点到多点、多点到多点甚至是组播的性能测试,无需额外采购任何硬件测试设备或布置人员,可以大大降低网络测试的费用开销。同时,Chariot在测试精度方面也提供了与硬件测试设备同等级的精度,比如时钟同步,Chariot是目前唯一被业内认可的基于软件解决时钟同步的测试工具,其测试精度与硬件测试的结果误差仅为±1ms。
Chariot也可以对任何规模的网络进行压力测试。Chariot能提供多达10000个并发连接,和几乎无限的 Session。而且经Intel与Tolly Group等著名实验室证实,使用Chariot的四个连接(基于UNIX平台)就能在一个千兆链路上产生高达950兆左右的流量,可以更好的模拟真实环境,对设备及网络进行全面的测量。同时,基于网络应用的复杂性与多样性,Chariot也提供了完备的脚本编写能力,可以根据用户的实际需求执行特定的测试,通过修改脚本,Chariot可以很好的对网络或网络设备进行各种应力或极限测试。
Chariot的另外一个相当大的功能在设备和网络性能示范方面,比如可以采用该软件来向客户演示其提供的 GPRS 的数据业务功能,ISP 能利用该软件示范其网络的可靠性和能提供服务的保障。如提供视频服务,能采用Chariot测量网络的One-Way Delay,Packet Lost 和Jitter,给客户一个定量的参数。同时Chariot也可以提供 SLA 服务,由于该软件是能提供主动式定量测量服务,服务提供商能就其测量结果向用户提供用户服务保障体系。
Chariot也能提供在设备安装调试中的测量,德国电信公司便采用该软件测试其GPRS安装的性能。Chariot能为VPN、防火墙、ADSL等设备选型、安装调试及验收提供测试手段。
Chariot同时也可以作为网络设备和网络本身的一个在线测试工具,提供主动式网络在线性能分析及监视。该软件还可以作为网络维护的工具,进行故障诊断与定位、性能优化与验证等。同时由于Chariot采用了分布式的测试方式,能够快速的部署测试任务,可以大大的提高运营商对用户投诉的响应处理时间,增强企业的快速反映能力。
Chariot还可以对网络的QoS性能进行测试。Chariot提供了三种QoS模板:Diffserv、Generic QoS与IP TOS.您可以自由定制QoS机制,如修改TOS字段等,并将这些QoS特性赋予给Chariot产生的各种应用流量,观察这些流量在网络上的运行情况,以此来评估网络或网络设备的QoS策略实行情况。在Cisco公司内部,专家也采用Chariot对网络设备的QoS机制如WFQ等进行测试。
此外,Chariot在WLAN网络与设备应用性能测试方面还是业内公认的测试工具。业内知名的WECA就在其WLAN设备性能测试规范1.1a版本中规定了Chariot为应用性能测试的制定工具。
综上所述,Chariot是基于应用层的测试工具,是以测试网络或网络设备在实际状况下的性能表现为主要目的,通过将它与的传统的物理层测试系统相结合,可以大大提高网络的稳定性与可用性。
|
|
| |
| 【 责任编辑:郭智信 】【打印】【关闭】 |
| |
|
|
| 相关文章 |
|
|
|
|
中国通信运维网版权与免责声明:
① 凡本网注明"稿件来源:中国通信运维网"的所有文字、图片和音视频稿件,版权均属中国通信运维网所有,任何媒体、
网站或个人未经本网协议授权不得转载、链接、转贴或以其他方式复制发表。已经本网协议授权的媒体、网站,在下载
使用时必须注明"稿件来源:中国通信运维网",违者本网将依法追究责任。
② 本网未注明"稿件来源:中国通信运维网"的文/图等稿件均为转载稿,本网转载出于传递更多信息之目的,并不意味
着赞同其观点或证实其内容的真实性。如其他媒体、网站或个人从本网下载使用,必须保留本网注明的"稿件来源",并
自负版权等法律责任。如擅自篡改为"稿件来源:中国通信运维网",本网将依法追究责任。如对稿件内容有疑议,请及时与我们联系。
③ 如本网转载稿涉及版权等问题,请作者在两周内速来电或来函与中国通信运维网联系。
|
|
|
|