首页 -> 2009年第1期

网格技术及其在校园网建设中的运用

作者:邓文雯




   [摘 要]网格是新兴的前沿信息技术。本文阐述了网格的概念及其技术内涵,重点论述了网格技术在校园网建设领域中的应用以及未来发展需要解决的问题。
   [关键词]网格技术 校园网建设 资源共享
  
  一、引言
  
  计算机网络和通信技术的迅猛发展以及Internet技术的兴起和广泛应用,有力地促进了网格环境下的科学应用研究和商业应用发展。传统因特网实现了计算机硬件的连通,Web实现了网页的连通,而网格试图实现互联网上所有资源的全面连通,包括计算资源、存储资源、通信资源、软件资源、信息资源和知识资源等。网格将无数信息和资源孤岛连通起来,让人们的工作和生活变得更为方便。
  高校校园网在教学、科研、管理等领域发挥着重要的作用,网格技术的应用将会极大地改变其应用现状。互联网的发展趋势是网格。面对新的形势、新的技术,高校校园网应如何建设、怎样利用网格技术使校园网资源在更大范围内共享,是非常值得研究的课题。
  
  二、网格计算简介
  
  1.网格计算概念。这是目前学术界研究的一个热点,最早引入这一思想的人被认为是Larry smarr,根据其描述,网格系统是一种无缝的、集成的计算和协作环境,即“在网络的环境下使用户透明地获得最强大的计算资源”。Larry smarr又从功能上进一步将网格分为计算网格和存储网格,计算网格提供虚拟的、无限制的计算和分布式数据资源,而存储网格则提供一个合作环境。
  2.网格计算系统的特点:①异构性:网格包含多种异构的资源,这些资源可能跨越不同的地理位置和管理区域;②可扩展性:网格计算系统的初期规模可能很小,随着参与网格计算的计算机系统不断加入,系统的规模会越来越大。网格计算系统必须适应规模的增加,克服规模的膨胀而造成的性能下降或计算的延迟;③可适应性:网格计算系统中的资源是异构的、分布的,且经常发生变化,甚至发生故障。面对这些情况,应能做到动态的可适应性;④结构的不可预测性:与一般局域网系统和单机的结构不同,网格计算系统由于地域分布和系统的复杂性,使得整体结构经常变化;⑤多级管理域:由于构成网格计算系统的超级计算资源通常属于不同的机构或组织,使用不同的安全机制,因此需要不同的机构或组织共同参与解决多级管理域问题。
  
  3.网格计算系统的体系结构:①网格本地资源管理层:它是网格的基础设施,由分布在网上的各类资源组成,包括各类主机、工作站、机群、数据库资源和科学仪器等;②网格中间件:它是网格计算的核心,负责提供远程进程管理、资源分配、存储访问、安全及服务质量等;③网格开发环境和工具层:负责提供网格计算系统所需的应用开发工具;④网格应用和门户:提供网格计算系统能接受的语言,如HPC++和MPI等。配置一些支持工程应用、数据库访问的软件,网格门户提供Web服务接口,使用户可以使用web方式提交其作业并取得结果。
  
  三、基于Grid技术的校园网资源共享模型及其实现
  
  在典型的校园网格计算环境中,大型的计算任务往往被分解成若干个彼此联系的子任务。这些子任务通过用户代理向资源管理系统提出资源请求,资源监控子系统动态地发现校园网格可用资源,在资源调度子系统的统一调度下实现协作式的动态资源共享,其体系结构如图1所示。
  图1所示模型各层功能定义如下:第1层为网格计算体系结构中的应用层;第2层为管理与服务层,相当于网格计算当中的汇聚层,其主要任务是实现资源的管理、任务的调度并最终实现对用户提供各种服务;第3层为网格体系中的资源层;最底层即为构造层,其基本功能是控制局部的资源,并向上层提供资源的状态信息及访问接口。
  实现该模型的核心问题,一是如何实现资源的动态发现,即资源监控问题;二是如何实现资源的协作式共享,即资源管理与任务调度问题。
  1.基于LDAP的资源监控模型。校园网格是以资源共享为目的,支持对可计算资源的远程和并发的访问,用高速网络连接分布在校园各楼宇的可计算资源所组成的一个具有单一系统映像的高性能计算和信息服务环境,故需要一种不同于SNMP的新资源动态监控技术。本文拟采用GMA提出的基于LDAP的生产者/消费者模型。但为了实现静态数据与动态数据的结合,提高系统的运行效率,对其进行了一些必要的改进:
  (1)将校园网格的静态数据与动态数据结合,减少一次客户端到服务器端的交互,以简化校园网格系统结构的复杂性。
  (2)校园网格节点信息发布时,改用性能数据的预测功能模块,即根据被监控节点主机运行的进程及其以前的性能数据进行统计分析,预测其下一时段的负载情况,从而减少节点间的通信流量。
  (3)采用一种智能模块,以避免监测子系统造成导致校园网格系统超载的、突发性的资源利用率增加脉冲。
  (4)采用边界网关协议建立冗余LDAP服务器,以防止校园网格的主LDAP服务器失效导致校园网格各种资源无法利用备用LDAP服务器实现快速重组,从而提高系统的可扩展性、重组性和健壮性。
  2.资源管理与任务调度模型。通常情况下,校园网格计算子任务数量远多于可用计算/信息资源数量。因此,要在提高资源使用效率的同时,使计算任务在尽可能短的时间内完成,就必须进行繁琐复杂的资源调度,而一般形式下资源调度是一个NP完备问题。因此,本文采用了一种简单有效的基于市场机制的资源管理调度模型(如图2所示),并利用遗传退火算法来寻求资源的优化配置与最小的任务执行时间。
  图2所示模型中,校园网用户首先通过服务请求代理提交计算任务,接着进行QoS请求解析,得出具体的资源需求。然后,交由调度器和状态估计器进行处理,调度器调用资源优化匹配模块进行检测,并利用简单的遗传退火算法进行资源优化匹配,再交由交易代理处理。最后发布代理将计算作业调度到所选定的资源节点上运行。在该模型中,调度系统是校园网格资源管理的核心,它根据任务信息采用适当策略把不同的任务分配到相应的资源节点上运行。
  
  四、校园网格的安全
  
  实现资源共享的前提是不给系统带来安全隐患。由于资源的共享,可能会给黑客或有恶意的人提供进行系统攻击的机会,也可能使得病毒有机可乘,这些问题都必须解决。如防止非法用户进入校园网格系统或窃取用户与校园网格之间的通信内容;保障任务在提交、存储和迁移时不被非法访问,保证安全传输;此外,容错和自动修复也是网格系统必须考虑的问题。许多科研计算需要连续数日的运行才能得到最终结果,如果没有容错和自动修复措施,任何中途出现的故障就会使前面的计算前功尽弃。
  
  五、结论
  
  基于网格技术构建的校园网,是在传统校园网的基础上,利用先进的网格理论和模型,将现实校园的各项资源数字化、网格化,形成一个可充分共享的数字校园空间。它可以通过现代化手段,方便地实现学校的教学、科研、管理、服务等活动的全部过程,从而达到提高教学质量、科研水平、管理水平的目的。
  本文所构建的校园网资源共享模型,将网格技术应用于校园网资源的动态、协作式共享中,克服了校园网结构上的异构性、资源调度的不可预测性,所提出的改进的LDAP算法,能够有效实现资源的动态发现,改进的资源分配算法和遗传退火算法能够实现较好的资源调度和协作式共享。
  
  参考文献:
  [1]刘军,耿国华.一种基于网格技术的校园网资源共享模型及实现[J].商场现代化,2006,(12).
  [2]刘怀春,刘怀亮,李秀焕.网格计算理论及应用技术研究[J].今日科技,2003,(5).
  [3]宋智礼.应用网格技术实现校园网资源共享模型研究[J].北方工业大学学报,2005,(8).