光子网格技术,光子网格技术定义和应用

光子网格技术,光子网格技术定义和应用

1引言

网格(grid)是20世纪90年代中期发展起来的一项技术，其标志性应用为全球范围内的大规模科学计算(E-science)[1]。它将位于不同地理位置的科学仪器、高性能计算机、分布式数据库、传感器、远程设备等组合起来，以解决复杂的科学问题，如全球气候模拟、高能物理、基因图谱的测绘、核试验模拟、新药的研制、虚拟专家会诊、大规模信息和决策支持系统等。网格技术使人们能够共享计算资源、存储资源和相关服务，因此它在天文、航空航天、交通、汽车制造、气象、钢铁生成、核反应堆等诸多领域的科研计划和产业发展中起着至关重要的作用。

在网格应用中，传感器、远程设备、高性能计算机及可视化设备之间需要实时传送terabyte甚至petabyte量级的海量数据，网络在网格应用中占有十分重要的地位。传统互联网无法提供低延时保证下海量数据的高速传输，同时其尽力而为的服务方式无法满足用户的QoS要求。因此，构建在传统互联网上的网格应用存在着诸多的局限性，如数据传输速度慢、可靠性差、用户交互性差、使用界面不够友善等，极大地影响了应用系统的效率。

光子网格（opticalgrid）是近年来在上述背景下发展起来的一种新兴技术[2~3]。其基本思想是将分布在不同地理位置的高性能并行计算机、计算机集群、大型存储设备、高清晰显示设备、大型科学仪器以及各种类型的个人计算机、服务器等通过光网络相互关联起来。由于光网络具有大带宽、高度透明、低延时、低成本、高可靠性和动态带宽调整能力，因此光子网格在满足用户共享网格信息资源的同时，还可为网格应用提供海量数据的快速传输、高可靠性管理及资源的灵活调度和控制。

光子网格网络的实施，可突破网格应用中的网络瓶颈问题，使网格用户能够与高端计算资源保持同步并维持令人满意的互动功能，从而加速应用领域的科研进程，促进相关产业的发展。另一方面，光子网格的实施，使得高性能计算资源、存储资源及科学仪器的拥有者能够更有效地拓展应用市场，提高资源的利用率。由此可见，光子网格是使网格应用真正走向实用的可行技术。

2 光子网格产生的背景

近年来，随着大规模科学计算应用的不断发展，其对计算机处理能力、存储能力及高性能可视化的要求在不断增加。计算机处理或存储能力受技术及成本等因素的制约，为每个用户配备高性能计算、存储及可视化设备既不经济也不现实。一种可行的解决方法是将计算及存储任务分配给不同的计算机，通过共享不同研究机构的计算、存储及可视化资源来实现大规模科学计算及可视化应用。这种方法可以有效地节省成本，提高资源的利用率。

与此同时，当今科学计算问题的复杂性在不断增加，它需要不同领域、不同国家的科学家共同协作才能取得突破性的成果。因此，必须构建一个高速网络将这些科学研究工作者、高性能计算及存储设备、高精密仪器及可视化设备关联起来，实现不同地理位置之间海量数据的高效传送。上述应用导致了对网络的连通性及带宽要求的不断增加。

光纤及光网络传输设备的大范围敷设及广泛应用为互联高性能计算机、大型存储设备、高清晰显示设备及大型科学仪器提供了可能。目前，在10Gbit/s及更高速率上，与IP交换机相比，光交换机具有更低的功耗和成本。光网络可以提供低成本、高带宽、高可靠性光连接，已被绝大多数研究机构甚至一些个人用户所接受。

光子网格即是在上述背景下产生的，它通过光网络将终端用户、计算、存储等资源关联起来，从而实现远程海量数据的高速传输。

3光子网格研究的关键问题

光子网格不等于简单地用光网络来提供大数据传输。要有效地支持网格应用，传统的光通信网络及网格技术面临着一系列的挑战。

首先，要支持网格应用，需要为大量的用户和终端设备提供从Mbit/s至Tbit/s量级的传输带宽。用户对带宽的请求具有突发性、并行性、大规模、多种粒度并存的特点，而光网络的带宽资源及网格的计算与存储资源均是有限的。很显然，为每个用户任务提供专用的光通路既不经济也不现实。因此，光通信系统需要支持不同类型、多粒度、突发性带宽需求，具有按需分配带宽的能力；提供组播和广播能力；同时，系统为满足应用需求，还需要为用户或应用提供自组织、自管理和自控制分布式网络资源的能力，支持灵活、快速的通道建立。

其次，网格应用不同于通信网络上的点到点通信业务，它具有分布式、多任务流的工作特点，多个任务可以分配至不同的计算资源上并行运行，不同的任务分配方式会导致不同的光网络资源分配方式。即使计算资源分配方案是确定的，由于光通道源、宿节点对之间可以有不同的路由选择，因此光网络资源将有不同的调度方案。而不同的任务分配方法又会导致不同的任务完成时间。因此，要在给定的限制条件下高效地完成一个给定的业务，系统必须支持大规模的分布式并行网络服务，必须合理地描述各业务流程之间的相互关系，并通过一种全新的方式来协同调度计算资源及光网络资源，否则将直接导致系统运行效率及资源利用率的降低。

再者，目前网格计算在完成资源发现、任务调度的过程中，通常不考虑网络资源的限制及可用性，并且缺少从网络中获取可用的网络资源信息的发现机制。而在实际应用中，网络资源是一个影响系统效率和应用功效的重要因素。因此，必须寻找一种新的资源描述、资源发现及资源更新机制，以实现对计算资源和网络资源的统一管理和合理利用。

最后，网格应用的多业务流、大数据量特性要求通信网络具有更高的安全性及数据正确性保证。虽然网格具有一定的容错机制，网络也具有一定的保护/恢复能力，但是如何根据用户的QoS需求，通过光网络和网格的协同操作来实现更高级别的系统容错，以保证网络的安全性及网格用户与通信网络接口的安全性，也是需要解决的问题。

针对上述关键问题，国内外研究机构及相关学者就光子网格及其应用重点从以下几个方面开展了研究。

·光子网格体系结构及实现技术：重点研究建造光子网格的技术、光子网格的基本组成与功能、光子网格各组成部分的相互关系、各部分集成的方式或方法以及它们与网格应用之间的相互关系。

·控制与管理协议：重点研究光子网格的控制及管理机制，包括用户网络接口、计算资源调用及控制机制、光网络突发带宽的动态调用及调整、信令和路由协议、域间和层间控制协议、光子网格中间件的接口技术及实现方法等。

·光子网格资源发现及调度机制：重点研究光子网格环境下网格信息资源和光网络资源的描述、注册、发布、更新、服务部署、资源发现和资源调度机制，并在此基础上研究不同工作模式下网格信息资源与光网络资源的协同优化调度机制、实现算法及性能指标分析。

·光子网格容错及安全访问机制：重点研究光子网格权限管理机制、用户身份认证技术以及跨域调度的安全和权限管理技术，研究在光子网格发生光纤链路中断、设备节点故障、服务器宕机或服务程序中断情况下，如何设立不同等级的容错策略，在保障数据传输的准确性和及时性的同时，使用户察觉不到系统故障，以满足不同用户的QoS要求。

·业务模型及应用实验：重点研究多种网格应用模型下业务类型的分类和整理方法，对不同类型业务，根据用户的QoS要求，制订不同的业务等级机制，给出不同类型、不同等级下业务工作流的描述方法，并提供一种辅助用户进行流程定义、生成描述文件的可视化工具，在此基础上针对高性能计算及可视化、大规模协同设计、实时数据传输等典型应用，探讨多业务应用模式下光子网格的实现技术、应用流程和发展前景。

由此可见，构建一个新型的网络架构，集成网络、网格信息资源和服务，实现对终端用户、网络资源和网格信息资源的协同管理，无论在理论研究或实际应用中都存在很多问题有待进一步探讨。

 

 

4光子网格研究进展

目前，国内外相关机构已在光子网格领域开展了一系列研究工作，具有代表性的研究计划或项目包括：

·美国的OptiPuter项目[4]，它通过多个波长来互连计算机集群系统、可视化及协同操作工具，并通过扩展的GMPLS协议及接口实现对光网络的控制；

·由日本和美国合作研究的G-lambda项目[5]，其目的是在网格资源调度器（gridresourcescheduler，GRS)和网络资源管理（network resource management，NRM）系统之间建立一个标准的Web服务接口(GNS-WSI)，以保证GRS和NRM之间信息的协同交互，并在此基础上实现动态跨域连接的建立及相关应用；

·加拿大CA*net4研究网络的UCLP（usercontrolled lightpath）计划[6]，其目标是倡导“用户使能的网络”，旨在为用户提供动态分配网络资源的功能，授予用户更大的能力革新基于网络的应用；

·欧盟的Phosphorus项目[7]，其目的是设计和实现一种新的网络服务平面结构，以提供网格网络服务，实现对网络和非网络（计算、存储）资源的集成管理。

与此同时，国际标准化组织，如互联网工程任务组（IETF）、分布式管理任务组（DMTF）、开放网格论坛（OGF），就网格计算的网络应用和编程环境、体系结构、数据管理、信息系统和性能、P2P、调度和资源管理以及安全等问题开展了一系列研究。OGF的网格高性能网络（gridhighperformancenetwork，GHPN）研究组已提出多个协议草案，如面向网格的光网络基础结构（draft-ggf-ghpn-opticalnets-2）、网格基础结构的联网问题（draft-ggf-ghpn-netissues-4）、传送协议综述（draft-ggf-ghpn-transportsurvey-1）、网格网络服务的用例（draft-ggf-ghpn-netservices-usecases）和网格网络服务（draft-ggf-ghpn-netservices-2）以及网格光突发交换网络（draft-ggf-ghpn-GOBS）等。全球光网格论坛（GLIF）也在近期就光网络控制平面及网格网络接口技术启动了一系列的标准化研究工作。

此外，一些企业（如HP、IBM、Intel等）也在大力开展光子网格相关技术及应用研究（如云计算、云存储等），他们在世界各地正在投巨资建立数据中心，这些都对光子网格技术及应用起到了或多或少的推动作用。

中国也对光子网格技术给予了高度重视，国家“863”计划、国家自然科学基金已设立多个项目开展了相关技术的研究，目前一些重要的研究技术包括：光网络集成计算环境[8,9]、网格与网络资源协同调度[10,11]、光子网格容错技术等[12]。

目前常见的光子网格体系结构主要有：基于密集波分复用、暗光纤和低成本光交换机的波长网格；基于光突发交换网络（OBS）的网格；基于自动交换光网络（ASON）的网格。图1所示为典型的基于ASON的光子网格体系结构。

该体系结构框架分成3个层次。第1层为应用层，包括所有运行在光子网格上的分布式应用。第2层为服务层，是该体系结构的实体，包括工作流和网格中间件两个部分。工作流封装多种不同的应用业务并对外发布服务。网格中间件负责向下调度、封装资源，具有资源监控、资源发现、资源调度、容错及安全控制等多种功能。第3层为物理资源层，它分为两个部分:一部分为传统的网格信息资源，包括计算资源、存储资源、显示设备等；另一部分为光子网格特有的资源，包括端口资源、节点资源、链路带宽资源、光路资源等。

其基本工作流程为：首先，服务层通过相关接口获取物理资源层的相关信息；当服务层接收到应用层的用户请求时，它调用资源管理和调度模块，将计算、存储、显示等任务分配至不同的可用资源上，当需要进行数据传送时，调用光网络的控制平面，动态地建立光通道连接。通过上述步骤，可有效地实现资源的最优化利用并最大限度地满足用户的QoS需求。

5光子网格技术的应用

众所周知，E-science对很多领域的科研计划和产业发展起着至关重要的作用，例如：天文领域中的行星流体与磁流体动力学计算；新一代无毒、无污染运载火箭的计算和仿真；飞机设计中数值风洞、载荷疲劳计算；汽车制造中的虚拟制造、整车空气动力学设计；钢铁生产中钢板碰撞性能计算、钢管成型仿真分析；核反应堆堆芯热工水力分析、核反应堆保护和控制分析、核级设备应力分析与抗震力学分析等。在这些应用中，位于不同区域的用户需要共享数据资源、进行大规模协同计算和分析并实现大数据流的数据交互和传送。

一个典型的光子网格应用实例是欧洲原子能研究机构CERN开展的高能物理实验，它的目标是处理大型粒子对撞机源源不断产生的petabyte量级实验数据。这些数据的分析和处理超出了目前世界上任何一台超级计算机或集群系统的能力，因此，CERN计算机中心负责将这些数据通过高速网络分配给欧洲、北美、日本等国的区域中心，后者再将任务进一步分解到物理学家的桌面上，通过不同区域物理学家的计算和协同分析来共同完成相关实验。目前，已有位于世界60多个国家和地区的近万名科学家参加到该实验中，不同区域间采用的是10Gbit/s的光网络通道进行数据交互和传输。

另一个应用例子是实时甚长基线干涉测量法（electronic-verylongbaselineinterferometry，e-VLBI）应用。e-VLBI是采用网络将天文望远镜的观测数据实时传送到数据处理中心进行处理的射电干涉技术。它在航天器精密跟踪、航天测控、精密时间比对、深空观测、人造地球卫星、月球探测器、太阳系行星际探测器等领域均有重要的科学意义和实用价值。在下一代e-VLBI系统中，其观测站的射电望远镜的采样速率将达到10 Gbit/s，数据处理中心的数据汇聚速率将达到40 Gbit/s，数据需要从位于偏远地区的观测站通过超长距离的高速光网络实时传送至数据处理中心进行相关处理。面对上述应用需求，欧洲、美国、日本、韩国、澳大利亚等国的科学家正在开展一系列基于高速光网络的e-VLBI技术研究，如欧洲EXPRES研究计划和东亚e-VLBI研究计划。美国自然科学基金资助的GRAGON研究项目也针对e-VLBI应用就光通路动态建立、大文件数据传输等进行了相关研究及现场实验[13]。

光子网格可以突破E-science应用的网络瓶颈，使得高性能计算广泛应用成为现实，用户和用户之间、用户和高性能计算机之间可方便、实时地实现数据交换和信息互动，这些将加速用户的科研进程，促进相关产业的发展，给科研工作者及高性能计算资源的拥有者带来光明的前景。

光子网格可用来管理分布在各地的贵重仪器，通过提供远程访问仪器设备的手段，可提高仪器的利用率，大大方便用户的使用。同时，它还可以用于构造网络化虚拟现实环境，实现对高性能计算结果或数据库的可视化，使分布在各地的使用者能够在相同的虚拟空间协同工作。该环境可以广泛应用于交互式科学可视化、医疗、教育、训练、艺术、娱乐、工业设计、信息可视化等许多领域，如远程医疗、远程教学、虚拟历史博物馆、协同学习环境等。

从上述分析可以看出，光子网格具有广阔的应用前景。光子网格代表着光传送网发展的一个方向，体现了网络和业务应用融合的一个大趋势。光子网格技术及应用体系研究将有助于推动网格应用的发展和光网络技术的进步。可以预见，光子网格具有十分重要的理论研究价值和社会意义，同时有着广阔的市场应用前景，在经济建设和社会发展中将起着极为重要的作用。