电子说
数据库技术是计算机科学的重要分支,主要研究如何安全高效地管理大量、持久、共享的数据。数据库的研究始于20世纪60年代中期,从诞生到现在,在不到半个世纪的时间里,形成了坚实的理论基础、成熟的商业产品和广泛的应用领域,目前数据库成为一个研究者众多且被广泛关注的研究领域。随着信息管理内容的不断扩展和新技术的层出不穷,数据库技术面临着前所未有的挑战。面对新的数据形式,人们提出了丰富多样的数据模型(层次模型、网状模型、关系模型、面向对象模型、半结构化模型等),同时也提出了众多新的数据库技术(XML 数据管理、数据流管理、Web 数据集成、数据挖掘等本文讨论目前数据库技术发展的三个特征以及数据库研究领域中最热门的几个研究方向的发展现状、面临的问题和未来趋势。
数据库技术主要研究如何存储、使用和管理数据,是计算机数据管理技术发展的新阶段,是计算机技术中发展最快、应用最广的技术之一。当前,数据库技术已成为现代计算机信息系统和应用系统开发的核心技术,数据库已成为计算机信息系统和应用系统的组成核心,更是未来“信息高速公路”的支撑技术之一。
纵观数据库发展,三大数据库巨头公司纷纷推出其最新产品,数据库市场竞争日益加剧。从最新的IDC报告显示,在关系数据库管理系统(RDBMS)软件市场上,Oracle继续领先对手IBM和微软,但是微软在2006年取得了更快的销售增长率……
根据对数据库的技术趋势不难看出,整个数据库发展呈现出了三个主要特征:
IBM公司在它新推出的DB2 9版本中,直接把对XML的支持作为其新产品的最大卖点,号称是业内第一个同时支持关系型数据和XML数据的混合数据库,无需重新定义XML数据的格式,或将其置于数据库大型对象的前提下,IBM DB2 9允许用户无缝管理普通关系数据和纯XML数据。
对于传统关系型数据与层次型数据的混合应用已经成为了新一代数据库产品所不可或缺的特点。除了IBM,Oracle和微软也同时宣传了它们的产品也可以实现高性能XML存储与查询,使现有应用更好的与XML共存。
为应对日益加剧的商业竞争,企业不断增加内部IT及信息系统,使企业的商业数据成几何数量级不断递增,如何能够从这些海量数据中获取更多的信息,以便分析决策将数据转化为商业价值,就成为目前数据库厂商关注的焦点。各数据库厂商在新推出的产品中,纷纷表示自己的产品在商业智能方面有很大提高。如:微软最新版SQL Server 2005就集成了完整的商业智能套件,包括数据仓库、数据分析、ETL工具、报表及数据挖掘等,并有针对性的做了一些优化。如何更好的支持商业智能将是未来数据库产品发展的主要趋势之一。
SOA已经成为目前IT业内的一个大的发展趋势,最初IBM和BEA是该理念的主要推动者,后来有越来越多的企业加入,开始宣称支持SOA,其中包括Oracle,而微软开始并不是非常赞同SOA的,但是,随着时间的发展,目前国内主流的数据库厂商都开始宣称他们的产品是完全支持SOA架构的,包括微软的SQL Server 2005,从微软态度的转变可以看出,未来IT业的发展与融合,SOA正在成长为一个主流的趋势。
并且为了扩大宣传和抢占更多的中小企业市场,各主流数据库厂商还纷纷推出一些提供简单功能的免费数据库产品。
1.信息集成
随着Internet 的飞速发展,网络迅速成为一种重要的信息传播和交换的手段,尤其是在Web 上,有着极其丰富的数据来源。信息集成系统的方法可以分为:数据仓库方法和Wrapper/Mediator 方法。在数据仓库方法中,各数据源的数据按照需要的全局模式从各数据源抽取并转换,存储在数据仓库中。用户的查询就是对数据仓库中的数据进行查询。对于数据源数目不是很多的单个企业来说,该方法十分有效。另一种方法是Wrapper/Mediator 方法。该方法并不将各数据源的数据集中存放,而是通过Wrapper/Mediator 结构满足上层集成应用的需求。这种方法的核心是中介模式(mediatedschema)。信息集成系统通过中介模式将各数据源的数据集成起来,而数据仍存储在局部数据源中,通过各数据源的包装器(wrapper)对数据进行转换使之符合中介模式。用户的查询基于中介模式,不必知道每个数据源的特点,中介器(mediator)将基于中介模式的查询
转换为基于各局部数据源的模式查询,它的查询执行引擎再通过各数据源的包装器将结果抽取出来,最后由中介器将结果集成并返回给用户。Wrapper/Mediator 方法解决了数据的更新问题,从而弥补了数据仓库方法的不足。不过,这种框架结构正受到来自3 个方面的挑战。第1个挑战是如何支持异构数据源之间的互操作性(interoperability)。另一个挑战是如何模型化源数据内容和用户查询。第三个挑战是当数据源的查询能力受限时,如何处理查询和进行优化。
2.传感器数据库技术
随着微电子技术的发展,传感器的应用越来越广泛。根据传感器在一定的范围内发回的数据,在一定的范围内收集有用的信息,并且将其发回到指挥中心。当有多个传感器在一定的范围内工作时,就组成了传感器网络。传感器网络由携带者所捆绑的传感器及接收和处理传感器发回数据的服务器所组成。传感器网络中的通信方式可以是无线通信,也可以是有线通信。
在传感器网络中,传感器数据就是由传感器中的信号处理函数产生的数据。信号处理函数要对传感器探测到的数据进行度量和分类,并且将分类后的数据标记时间戳,然后发送到服务器,再由服务器对其进行处理。传感器数据可以通过无线或者光纤网存取。无线通信网络采用的是多级拓扑结构,最前端的传感器节点收集数据,然后通过多级传感器节点到达与服务器相连接的网关节点,最后通过网关节点,将数据发送到服务器。
传感器节点上数据的存储和处理方法有两种:第1 种类型的处理方法是将传感器数据存储在一个节点的传感器堆栈中,这样的节点必须具有很强的处理能力和较大的缓冲空间;第2 种方法适用于一个芯片上的传感器网络,传感器节点的处理能力和缓冲空间是受限制的:在产生数据项的同时就对其进行处理以节省空间,在传感器节点上没有复杂的处理过程,传感器节点上不存储历史数据;对于处理能力介于第1 种和第2 种传感器网络的网络来说,则采用折衷的方案,将传感器数据分层地放在各层的传感器堆栈中进行处理。
传感器网络越来越多地应用于对很多新应用的监测和监控。新的传感器数据库系统需要考虑大量的传感器设备的存在,以及它们的移动和分散性。因此,新的传感器数据库系统需要解决一些新的问题。主要包括:传感器数据的表示和传感器查询的表示、在传感器节点上处理查询分片、分布查询分片、适应网络条件的改变、传感器数据库系统等。
3.网格数据管理
网格是把整个网络整合成一个虚拟的巨大的超级计算环境,实现计算资源、存储资源、数据资源、信息资源、知识资源和专家资源的全面共享。目的是解决多机构虚拟组织中的资源共享和协同工作问题。按照应用层次的不同可以把网格分为3 种:计算网格,提供高性能计算机系统的共享存取;数据网格,提供数据库和文件系统的共享存取;信息服务网格则支持应用软件和信息资源的共享存取。
高性能计算的应用需求使计算能力不可能在单一计算机上获得,因此,必须通过构建“网络虚拟超级计算机”或“元计算机”获得超强的计算能力,这种计算方式称为网格计算。它通过网络连接地理上分布的各类计算机(包括机群)、数据库、各类设备和存储设备等,形成对用户相对透明的虚拟的高性能计算环境,应用包括了分布式计算、高吞吐量计算、协同工程和数据查询等诸多功能数据网格保证用户在存取数据时无须知道数据的存储类型(数据库,文档,XML)和位置。涉及的问题包括:如何联合不同的物理数据源,抽取源数据构成逻辑数据源集合;如何制定统一的异构数据访问的接口标准;如何虚拟化分布的数据源等。
信息网格是利用现有的网络基础设施、协议规范、Web 和数据库技术,为用户提供一体化的智能信息平台,其目标是创建一种架构在OS 和Web 之上的基于Internet 的新一代信息平台和软件基础设施。
4.移动数据管理
越来越多的人拥有掌上型或笔记本电脑,或者个人数字助理(PDA)甚至智能手机,这些移动计算机都将装配无线联网设备,用户不再需要固定地联接在某一个网络中不变,而是可以携带移动计算机自由地移动,这样的计算环境,我们称之为移动计算(mobile computing)。研究移动计算环境中的数据管理技术,已成为目前分布式数据库研究的一个新的方向,即移动数据库技术。与基于固定网络的传统分布计算环境相比,移动计算环境具有以下特点:移动性、频繁断接性、带宽多样性、网络通信的非对称性、移动计算机的电源能力、可靠性要求较低和可伸缩性等。
移动计算以及它所具有的独特特点,对分布式数据库技术和客户/服务器数据库技术,提出了新的要求和挑战。移动数据库系统要求支持移动用户在多种网络条件下都能够有效地访问所需数据,完成数据查询和事务处理。通过移动数据库的复制/缓存技术或者数据广播技术,移动用户即使在断接的情况下也可以继续访问所需的数据,从而继续自己的工作,这使得移动数据库系统具有高度的可用性。此外,移动数据库系统能够尽可能地提高无线网络中数据访问的效率和性能。
而且,它还可以充分利用无线通信网络固有的广播能力,以较低的代价同时支持大规模的移动用户对热点数据的访问,从而实现高度的可伸缩性,这是传统的客户/服务器或分布式数据库系统所难以比拟的。
目前,移动数据管理的研究主要集中在以下几个方面:首先是数据同步与发布的管理。其次是移动对象管理技术。
5.微小型数据库技术随着移动计算时代的到来,嵌入式操作系统对微小型数据库系统的需求为数据库技术开辟了新的发展空间。微小型数据库技术目前已经从研究领域逐步走向应用领域。一般说来,微小型数据库系统(a small-footprint DBMS)可以定义为:一个只需很小的内存来支持的数据库系统内核。微小型数据库系统针对便携式设备其占用的内存空间大约为2MB,而对于掌上设备和其他手持设备,它占用的内存空间只有50KB 左右。内存限制是决定微小型数据库系统特征的重要因素。微小型数据库系统根据占用内存的大小又可以进一步分为:超微DBMS(pico-DBMS)、微小DBMS(micro-DBMS)和嵌入式DBMS 3 种。
微小型数据库系统与操作系统和具体应用集成在一起,运行在各种智能型嵌入设备或移动设备上。微小型数据库技术目前已经从研究领域向广泛的应用领域发展,各种微小型数据库产品纷纷涌现。尤其是对移动数据处理和管理需求的不断提高,紧密结合各种智能设备的嵌入式移动数据库技术已经得到了学术界、工业界、军事领域和民用部门等各方面的重视并不断实用化。
6. 数据加密技术
我们经常需要一种措施来保护我们的数据,防止被一些怀有不良用心的人所看到或者破坏。在信息时代,信息可以帮助团体或个人,使他们受益,同样,信息也可以用来对他们构成威胁,造成破坏。在竞争激烈的大公司中,工业间谍经常会获取对方的情报。因此,在客观上就需要一种强有力的安全措施来保护机密数据不被窃取或篡改。数据加密与解密从宏观上讲是非常简单的,很容易理解。加密与解密的一些方法是非常直接的,很容易掌握,可以很方便的对机密数据进行加密和解密。
1)数据加密方法
在传统上,我们有几种方法来加密数据流。所有这些方法都可以用软件很容易的实现,但是当我们只知道密文的时候,是不容易破译这些加密算法的。最好的加密算法对系统性能几乎没有影响,并且还可以带来其他内在的优点。例如,大家都知道的pkzip,它既压缩数据又加密数据。又如,dbms的一些软件包总是包含一些加密方法以使复制文件这一功能对一些敏感数据是无效的,或者需要用户的密码。所有这些加密算法都要有高效的加密和解密能力。幸运的是,在所有的加密算法中最简单的一种就是“置换表”算法,这种算法也能很好达到加密的需要。每一个数据段(总是一个字节)对应着“置换表”中的一个偏移量,偏移量所对应的值就输出成为加密后的文件。加密程序和解密程序都需要一个这样的“置换表”。事实上,80x86 cpu系列就有一个指令„xlat‟在硬件级来完成这样的工作。
2)基于公钥的加密算法
1.性能与易用性仍是数据库完善的必经之路
关系型数据库所以升级缓慢,其中一个主要原因就是没有关键的技术革新,各大厂商所做的主要工作都是在对自己的产品进行锦上添花式的不断完善。这一发展方向就是使数据库向着需求更少的方向增强。所谓需求更少是指数据库以更少的相对资源消耗、更高的性能运行,并且随着技术的不断进步,数据库变得更加智能,维护和使用将更加简单。这是数据库技术在完善过程中的必经之路。
在这一方面,Oracle数据库一直走在前列,从Oracle9i开始,Oracle一直致力于是数据库软件更加自动化,在这一原则的支撑下,Oracle不断实现了诸如自动PGA管理、自动SGA管理、自动段空间管理(ASSM)、自动存储管理(ASM)等等新特性,这些新特性切实降低了DBA的工作量,使得数据库的管理更加简单;而IBMDB2也一直在加强这方面的功能,IBM的SMART技术(Self-ManagingAndResourceTuning-自我管理和资源调优)正是在这些方面的增强。在DB2V9中IBM同样推出了一系列的自动化特性,包括自动数据库管理功能、自动统计数据收集等功能,但是这些特性相较Oracle而言是来之甚晚的,所以在2006年IBM主推的是XML这一重大改进。
然而一项新的技术能否得到用户的认可还需要时间去检验。根据Oracle公司在2006年10月举行的OpenWorld大会上公布的统计数据,自Oracle10g发布以来,仅有约一半的用户升级到Oracle10g,其他用户仍然维持在原来的版本运行;所以IBM的Viper能否最终得到用户的认可取得成功,还有待检验。
2.搜索是数据库的未来之路
随着数据库技术的不断完善,用户数据的不断积累,用户的需求也不断提高,在此之上,更高级的应用应运而生,这包括已经成熟的数据仓库应用、广为接受的商业智能(BI)应用、以及方兴未艾的SOA等。当数据库能够容纳几乎所有数据之后,我们必然面临的一个问题是如何快速获得我们需要的数据。当用户访问数据库时,怎样减少用户的等待,快速返回用户需要的数据是所有数据库都需要解决的问题。这也就需要另外一项高级增强--面向搜索的增强,从某种意义上说面向需求的增强-数据分析和挖掘也正是这个方向上的高级应用之一。目前各数据库在这一方面都不够完善,我们相信在未来,数据库能够容纳和存储各种数据之后,必然向快速搜索和查询方面进行增强。
开源数据库有望走向应用主流
和Linux 操作系统渐入佳境一样,开放源代码的数据库系统正走向应用的主流。目前主要的开源数据库产品包括MySQL、MaxDB 和PostgreSQL。在MySQL5.0版本升级之后,MySQL 数据库越来越象SQL Server 等大型数据库,并逐渐从开源圈子向企业级市场拓展。凭借廉价优势,MySQL 的市场正在扩大。除了开源数据库厂商成为市场焦点外,甲骨文、Sun 和微软老牌厂商也纷纷拥抱开源。开源数据库软件正在以其低成本得到越来越多用户的认可,并迫使主流厂商推出免费版应对。费用低且性能佳的开源数据库使得中小型企业使用数据库成为可能,使中小型企业能以较低的成本来构建强大的各种数据库应用。在引入数据库后,又会在使用过程中不断地发展新应用,从而推动企业的信息化,形成一个良性的发展过程。在这个过程中,开源数据库恰好扮演了一个引入者和助力者的角色。未来,在中小企业用户市场的拉动下,开源数据库有望走向应用主流。
进入21世纪,数据库的发展将会偏重于应用,还会为新型应用提供多种结构数据的支持。数据库技术发展的主要趋势:
进入21世纪,数据库的发展将会偏重于应用,还会为新型应用提供多种结构数据的支持。数据库技术发展的主要趋势:
1.XML/RDBMS混合数据将在未来得到快速的发展
2.数据集成和数据仓库将向内容管理过渡
3.主数据管理将会在未来的一至两年里成为一个新的热点4.数据仓库将在内容展现和战术性分析方面发展
5.数据库的管理除了更加自动化之外,将会提供更多基于Internet环境的管理工具,完成数据Internet化之后的数据库管理Internet化6.PHP将成为拨动数据库产品采用率的杠杆7.数据库将与业务语义的数据内容融合未来随着用户对以上特性认知程度的提高,数据库产品自带的信息呈现特性将会成为众多中小型项目的不二选择。
全部0条评论
快来发表一下你的评论吧 !