前言：中文期刊网精心挑选了云计算与分布式技术范文供你参考和学习，希望我们的参考范文能激发你的文章创作灵感，欢迎阅读。
云计算与分布式技术范文1
【关键词】云计算；云基础架构；虚拟化技术；分布式存储系统；并行编程模型
1.引言
自新千年IT业引入云计算概念以来，通过广大的市场需求及雄厚的技术支持，大规模云计算系统已成为当今IT业发展的主流。实现云计算的基础是实现云计算系统基础架构。一个云计算系统的优秀与否，关键在于其基础架构是否能够稳定、高效地完成各项任务。本文试图结合相关资料，对云基础架构及其效能进行分析、定义及具体阐述，为下一步研究提供有力参考。
2.云计算简介
云计算的迅猛发展与广大的市场需求和强大的技术支撑密切相关。首先，随着IT业的迅猛发展，各IT运营商都形成了各自庞大的服务器集群。如何实现现有集群的重新整合以降低运维成本，提高效率成为运营商考虑的首要问题；另外，IT市场的迅猛发展也要求各运营商提供更加稳定、快捷的服务。其次，分布式系统、虚拟化技术的不断发展完善，使得服务集群性能的快速提升成为可能。所以，在上述两方面原因的相互作用下，云计算得到了前所未有的发展。
目前，不同公司对云计算有着不同的理解和实现方式。通过对现有云计算系统的分析及对相关资料的研究[1—5]，本文认为云计算是以商业需要为出发点，将数量庞大的服务器集群整合成为分布式的资源池，通过虚拟化技术、Web2.0技术将资源池强大的计算能力、存储能力和构建在其基础之上的各类应用以按需计费的形式从不同的层次（Infrastructure、Platform、Application）租赁给用户的一种新型网络运营模式。
由上述定义可得到云计算体系结构如图1。
由图可知，云计算基础架构位于云计算系统的底层，它为云计算系统的出色运营提供了有力的支持。
3.云计算基础架构
3.1 云计算基础架构的定义
目前，业界及学术界对云计算基础架构还没有一个统一的定义利标准。各IT运营商均根据自身的实际情况，以各自的理解定义和实现云计算基础架构的部署。理工大学教授刘鹏在其著作《云计算》中提出：云基础架构及管理层由数据中心与云基础架构、安全产品、基础架构和运营管理三大部分组成[3]。作为虚拟化技术的龙头，Vmware公司在谈到其云基础架构层产品时说道：云计算基础架构是指通过虚拟化技术将传统数据中心转变为云基础架构并在其之上创建云，将IT基础架构作为服务交付给客户使用[6]。Lenk等人在其文章谈及云计算基础设施层时也指出：云基础架构可划分为基础设施服务和资源集两大部分，其中资源集可分为虚拟资源集和物力资源集；而基础设施服务又分为高级基础设施服务、基本基础设施服务、计算服务、存储服务和网络服务[7]。
通过对现有云基础架构以及对相关文献资料的研究，本文认为云计算基础架构是指由硬件资源（PC服务器、磁盘阵列、路由器、交换机及相关配套设备）组成，通过虚拟化技术、分布式并行技术整合形成的用以直接对外提供存储、计算服务或作为基础设施为上层云计算应用提供存储、计算能力支撑的一种高效、可靠并且具有良好扩展性的底层分布式系统。
3.2 云计算基础架构的分类
通过分析研究现有云计算系统及相关[8—12]，本文认为云基础架构按照服务的对象可分为基础型云基础架构和外向型云基础架构：基础型云基础架构指主要向运系统上层提供计算、存储资源服务的云基础架构，基础型云基础架构的代表系统有：TFS、GFS、Cassandra、KIDC；外向型云基础架构指直接向用户提供计算、存储资源服务的云基础架构，外向型云基础架构的代表系统有：IBM Ensembles、Amazon EC2、Amazon S3、HyperCloud、Megastore。
3.3 云基础架构的结构体系
通过对当前业界主流云基础架构系统的分析和对相关学术成果的研究，可以看出云基础架构的作用是通过将物理资源转化为虚拟资源池，实现对资源的监控、调度和管理以达到为上层应用和用户提供弹性的计算和存储资源的目的。云基础架构结构框架如图2。
由此本文将云基础架构分为以下五个层次：
1）物理层是指搭建、部署云基础架构所需的物理设备和配套环境。起作用时为云基础架构提供基本的物力资源，并保持物理设备的可靠性。
2）虚拟层是指通过虚拟化技术解除实现方式、地理位置或底层物理配置对计算机资源的限制，打破上层与物力资源之间的耦合关系，形成统一的虚拟资源。虚拟层的作用是为上层提供可靠且能够灵活按需分配的虚拟资源。虚拟层由虚拟计算资源、虚拟存储资源和虚拟网络资源组成。
3）数据层是指对云基础架构内运行的客户数据进行基本操作和管理的层次。数据层主要包含两个部分，既数据处理与数据管理。
4）管理层是整个云基础架构中的一个抽象层次。它对云基础架构的各类资源进行监控，根据实际负载状况对资源进行管理和调度并且根据上层需求对资源进行快速部署，以保证云基础架构高效运行。云基础架构管理层主要由资源监控、负载管理、资源部署和安全管理四个部分组成。
5）服务层是指为上层云计算应用调用云基础架构计算、存储资源预留的接口和对用户使用云基础架构计算、存储资源提供的交互界面。服务层对云基础架构效能的影响体现在服务层各类接口的通用性上。因为服务层接口与上层的松耦合性能够减小底层云基础架构对上层应用的限制，从而提高云基础架构自身的可用性。
3.4 云基础架构实现的主要技术
3.4.1 虚拟化技术
虚拟化是表示计算机资源的一种抽象方法。通过虚拟化，可以简化基础设施、系统和软件等计算机资源的表示、访问和管理，并为这些资源提供标准的接口来接受输入和提供输出[2]。通过虚拟化技术，可以实现在一台服务器上运行多个虚拟机，从而提供服务器的效率。由于绝大部分PC产品均属于X86架构，所以本文论述的虚拟化技术主要指X86架构的虚拟化技术。当前X86虚拟化技术的主流产品是VMware的VMware vSphere。
vSphere主要用于服务器的虚拟化，即在一台物理服务器上运行多台虚拟机，以次达到服务器整合和优化的目的。vSphere的核心是ESX架构，它可分为两部分：Service Console和VMKernel。其中前者提供管理服务，后者提供虚拟化能力。
随着虚拟化技术在云计算中发展中的作用越来越重要，对虚拟化技术的研究也成为热点。对虚拟资源的管理便是热点之一，[13]提出将VM模型集成到资源管理框架里，利用两极调度将VM的管理集成至批调度器里，以次为用户提供调度服务。
当前如Amazon EC2等云计算产品大多是以虚拟机的形式为用户提供计算能力，但对于虚拟机的具体配置，需要用户手动完成，因此虚拟化技术在自适应方面还需要进一步研究。
3.4.2 分布式存储系统
随着IT业的发展，网上交易、网上检索等系统所要处理的数据量越来越大。如何利用最低的资源成本创造最高的运行效率成为各大运营商考虑的首要问题。因此研发人员开发完成了一系列分布式存储系统，为云计算提供了强有力的后盾。
分布式存储系统研发目的是为云基础架构提供高效、海量的数据存储能力。各大运营商在搭建自己的云基础架构前都会开发自己的分布式存储系统如Google的GFS分布式文件系统。Google的GFS（Google File System）[14]是Google研发完成的作用于底层的分布式文件系统。GFS的作用是为大规模分布式应用系统提供强大的数据存储服务。GFS的核心设计思路是将系统故障当作一种常态来处理，实现这一思路的技术主要是提供多个副本进行操作。在接口方面GFS除提供基本的Creat、Delete、Open、Close、Read、Write外还提供Snapshot和记录追加两项操作。Snapshot以最低的开销创建一个文件或目录副本，记录追加则保证多客户同时对文件进行数据追加时的原子性和正确性。
GFS含有一个主控服务器（Master）和多个块服务器（Chunk Server）。一份文件由设备经接口，会被分为有限个数据块（每个数据块64MB）。此外，每个数据块都会产生一个元数据（
当前分布式存储系统已成为云基础架构重要组成之一。在学术界，对分布式存储系统的研究逐渐成为热点。[11]提出并实现了一种对等结构分布式存储系统NDSS，该系统取消了类似GFS中主控服务器的中心节点，而是利用分布式共享内存（DSM，Distributed Shared Memory）实现了数据一致性模块，利用分布式共享位图（DSB，Distributed Shared Bitmap）限制了多个节点对信息的同时访问，解决了同步访问控制问题。以此在对等节点中完成了中心节点的主要功能。从测试结果看，NDSS系统的整体性能优于有中心节点的YNS系统[10]。
目前，云基础架构中著名的分布式存储系统还有Google的Bigtable分布式存储系统和Amazon的Dynamo分布式数据存储中心[11]等。它们虽然为云基础架构提供了强大的动力，但仍有改进之处。
3.4.3 并行编程模型
并行编程模型是云计算中的一个重要概念。它是指系统为高效并行处理海量数据而设定的一组数据处理规则。研发人员为了解决输入数据的并行计算、分发数据等问题提出了并行编程模型的概念。
MapReduce是Google公司开发的一种新的抽象模型，也是当前起主导作用的编程模型。它的设计思路来源于函数式编程语言的映射和简化操作[1]。MapReduce的核心思想是将数据逻辑列表通过Map函数处理成为键值对集（），经过排序将具有相同Key值的键值对放在一起后通过Reduce函数将具有相同Key值的键值对的Value值进行合并。
当前对并行编程模型的研究大多以在MapReduce的基础上提出改进方案为主。在文献[15]中。Zaharia等人根据MapReduce建立在系统同构的假设基础上，提出了LATE（Longest Approximate Time to End）调度算法。通过新型调度算法的改进使得MapReduce在异构环境下运行。
虽然现行并行编程模型为云计算提供了强大的技术支持，在某些具体情况的适用性上还需进一步的完善。
4.结论与展望
当前对云基础架构的研究主要集中在业界IT运营商，在学术界对云计算基础架构的研究主要集中在单个技术性能的改进与提高上，明确提出云计算基础架构概念，并进行整体性理论分析研究相对较少。本文通过分析研究现有云计算基础架构实例及相关文献资料，提出了云计算基础架构定义，指出：云计算基础架构是指由硬件资源（PC服务器、磁盘阵列、路由器、交换机及相关配套设备）组成，通过虚拟化技术、分布式并行技术整合形成的用以直接对外提供存储、计算服务或作为基础设施为上层云计算应用提供存储、计算能力支撑的一种高效、可靠并且具有良好扩展性的底层分布式系统。根据云计算基础架构定义，预计在今后的一段时间内，对云计算基础架构的研究会朝着以下几个方面进行：
1）更加高效的数据交互体验。云计算基础架构为上层应用提供存储与计算能力，在此过程中必然会存在基于请求的数据交互过程。而数据交互的速度会直接影响用户对云计算应用的操作体验。所以对高效的数据交互地研究会成为未来云计算基础架构的研究重点。
2）更稳定的系统运行过程。云计算基础架构位于云计算系统的底层，其运行的稳定与否直接关系到整个云计算系统的运作。尽管当前已有多种技术手段（资源监控技术、同步复制技术，心跳检测技术等）来确保云计算基础架构的稳定性。但是这些技术手段任然存在自身消耗资源过大、检测周期与负载变化不适应等问题。而这些问题也会在今后的云计算基础架构的研究中得到解决。所以系统的稳定性也将是云计算基础架构研究的重点之一。
3）更灵活的系统扩展。随着数据量的增加，云计算基础架构不得不面临系统扩展的问题。而实时变化的数据交互量，使得云计算基础架构在扩展的同时更加注重扩展的灵活性。系统的扩展意味着资源的扩充，而系统扩展后的资源合理分配是体现灵活系统扩展的重要部分。当前尽管各类云基础架构都在努力统一和规范各自系统扩展接口并改进资源分配方式，但资源分配是否能够与负载变化同步依然是问题的实质和仍未解决的问题。而这也是云计算发展的基本出发点和立足点。所以，灵活的系统扩展能力是云计算基础架构未来的重要研究方向。
综上所述，云计算基础架构是一个具有现实意义并充满挑战的新兴领域，它的发展将对云计算发展产生巨大的推进作用，而云计算基础架构也会在未来的发展中扮演越来越重要的角色。
参考文献
[1]陆嘉恒等.分布式系统与云计算[M].北京：清华大学出版社，2011.5.
[2]吴朱华.云计算核心技术剖析[M].北京：人民邮电出版社，2011.5.
[3]刘鹏.云计算[M].北京：电子工业出版社，2011.7.
[4]Tim Mather，Subra Kumaraswamy，Shahed Latif著.云计算安全与隐私[M].北京：机械工业出版社，2011.5.
[5]朱近之.智慧的云计算[M].北京：电子工业出版社， 2011.4.
[6]VMware and Cloud Computing：An Evolutionary Approach to an IT Revolution.
[7]A.Lenk，M.Klems，J.Nimis，S.Tai.What is Inside the Cloud？An Architectural Map of the Cloud Landscape.http：///portal/web/csdl/doi/10.1109/CLOUD.2009.5071519.
[8]房晶，吴昊，白松林.云计算安全研究综述[J].电信科学，2011，27（4）：37—42.
[9]陈丹伟，黄秀丽，任勋益.云计算及安全分析[A].计算机技术与发展，2010，20（2）：99—102.
[10]张建勋，古志民，邓超.云计算研究进展综述[A].计算机应用研究，2010，27（2）：429—433.
[11]吴英，谢广军，刘景.对等结构的分布式存储系统设计与研究[A].计算机工程与应用，2006，42（4）：135—139.
[12]王刚，刘晓光，刘景.网络软RAID的设计与实现[J].计算机研究与发展，2000，37（增刊）：81—83.
[13]FREEMANT T，KEAHEY K.Flying low：simple lease with workspace pilot [C].//Proc of the 14th International Conference on Parallel Processing.
[14]GHEMAWAT S，GOBIOFF H，LEUNG S.The Google file system[C].//The Proceedings of the 19th Symposium on Operating Systems Principles，Lake Georage，New York，2003.
云计算与分布式技术范文2
1云计算简介
1.1概念
云计算是通过将大量计算分布到分布式计算机上，实现虚拟化的计算机网络系统，使得数据的计算运行与互联网类似，能够按照需求访问资源和系统。但是云计算并非通过本地计算机或远程服务器进行计算，而是像计算机网络内部一样实现分布式处理计算，这种方式就好像电厂集中供电模式，将低成本的运算单元组织在一起，能够大幅度提升计算能力和数据处理能力。云计算的这种计算模式对用户完全透明，用户只需要向系统提交自己的要求，云计算软件和平台会自动进行处理，用户不需要了解云计算的具体方法就能够实现快速、高效的大数据处理。
1.2结构
云计算是借助虚拟技术，将大量分布服务器上的资源整合起来，然后根据用户需求进行分配和处理，是一个虚拟的、庞大的计算机网络辅助系统。因此其体系结构也十分复杂，可以大体上分为用户、服务要求、管理系统和服务器集合等四个部分。用户提出服务要求，然后由管理系统向服务器集群发出请求并整合和接收反馈，然后以一个完整的形式将结果反馈给用户，形成一个完整的虚拟计算机网络处理结构。
1.3特点
云计算具有虚拟、高效、资源共享度高等基本特点，同时，目前由于云计算技术还没有完全成熟，大部分企业和个人使用云计算技术需要付费。云计算是一种虚拟概念的计算，也就是说其计算过程并不是通过实际的物理方式实现的，因此不仅能够实现大量数据的运算，也能够提高资源之间的共享度，同时这种分布式处理方式也更大地保证了数据的保密性和安全性。重要数据大量分布在所有分布式终端中，不能简单地从一台终端中提取，提高了数据的保密性，并且如果某台终端处理机出现问题，也不会影响其他终端，极大地提高了数据的安全性，使得大量数据的保存管理成为可能。
2云数据管理技术类型简介
云计算是对海量的、分布性的数据进行计算处理，因此对于数据的管理要求很高，采用的数据管理技术必须能够高效地管理海量数据，于是云数据管理技术也随着云计算的广泛应用而出现，并且目前已经成为众多企业和研究机构研究的重要课题。目前已经存在了许多不同的云数据管理技术，这些云数据管理技术各有特点，但是都以不同的方式实现了对海量数据的有效管理。
2.1GFS技术
GFS技术即谷歌文件系统，是一种为谷歌云计算技术提供数据管理的系统。在这种技术中，所有资源文件以一种库文件的形式存在，并且有系统提供给用户一个专用的程序访问接口，用户提出请求后，由一个逻辑上唯一的管理者对整个库文件进行调度和统筹管理。这种文件系统管理技术不仅能够为谷歌云计算提供海量数据的存储管理，同时也可以进行云计算，满足各种用户要求，目前GFS技术已经成为云数据管理技术的主要技术之一，并且得到了非常广泛的应用。2.2BigTable技术BigTable技术也是谷歌开发的一种数据管理技术，这种技术是建立在谷歌文件系统的基础之上，通过将大量数据组织在一张虚拟的表格中进行管理。这种技术将云数据组织在一张巨大的表格中，从而实现数据的结构化管理。在使用时能够根据要求更加快速地进行数据查找和处理，合理进行资源的分配。这种方式比起文件系统更能够实现数据的架构化，对于结构化云数据的管理会产生更好的效果，取得更高的管理效率。
2.3Dynamo技术
Dynamo技术是一种分布式存储系统，具有数据库和分布式Hash表的特征，以分布式Hash表作为基本存储结构和理念，实现数据在环中的均匀存储形式。这种技术的主要特点是提供了三个参数：N、R、W，技术规定，有N个副本，如果有R个读取一致就可以认为是读取成功，如果有W个写入成功就认为是写入成功，即系统不要求N个全部读取或写入成功，只要能够保证R+W大于N，就能够确保数据的一致性，这种技术增加了数据读取的复杂性，但是降低了数据写入的复杂程度，实现了更加高速的存储管理。
3云数据管理技术特点分析
3.1提供可靠的数据存储管理
云数据管理技术尽管各有特点，但总体都采用了分布式存储管理的思想。这种数据存储管理方式能够为企业提供海量数据的存储管理，同时能够极大地提高数据的保密性和安全性。同时，云数据管理技术一般都具有较高的容错性，大量分布式服务器的支持也可以实现对数据的错误分析和报告，避免因失误产生的数据错误。云数据管理技术最大限度地降低了人为管理因素对数据管理的影响，从而更好地提升了数据管理的可靠性。
3.2实现数据的并行处理和分析
云数据管理技术是将数据进行分布式处理，尽管在逻辑上看来许多云数据管理技术是将数据整合到了一个统一的机构中，但事实上数据是分布存储在大量分布式服务器上，在对数据进行处理时，就可以按照用户的要求从各个服务器中调取数据。在这种技术支持下，就能够有效实现数据的并行处理，系统根据用户要求自动检索分析用户需求，迅速缩小范围，锁定用户关键词，迅速对用户命令做出处理和反馈。同时，多个用户如果提出同一要求，也能够迅速通过这种管理技术实现信息共享，将同样的信息返回不同的用户终端。云数据管理技术还能够根据用户提供的关键字对数据进行初步筛选和分析，节省用户的分析时间，对于需要进行大量数据分析的企业来说可以极大地提高工作效率。这种强大的数据提供和分析处理能力正是云数据管理技术得到广泛研究和应用的主要原因之一。
4云计算和云数据管理前景展望
4.1云计算技术发展前景
云计算技术目前正处于快速发展阶段，不论是个人、企业还是国家都十分重视云计算技术的研究和创新。同时，随着更多的“云”概念的提出，云计算也被赋予了更多的功能和含义，大数据等概念的提出也为云计算带来了新的发展方向。国际社会已经有越来越多的专家学者研究出了更多创新的云计算技术，并且提出了概念含义更加广泛的云计算概念。国内对于云计算的研究也正日益火热，科研机构也在进行新技术的研究，国内个人和企业也逐渐了解了云计算的概念和特点，并且有更多的企业单位开始运用和研究云计算技术。可以说，云计算技术发展前景大好，并且很可能会成为未来一段时间内计算机研究和应用的重点方向。
4.2云数据管理技术的发展
伴随着云计算概念和技术的更新，云数据管理技术也必然要随之更新，云数据管理技术是为了给云计算提供强大可靠的数据存储管理支持，为云计算技术提供数据基础，因此其发展也会随着云计算技术的需求而不断改善。在目前的发展趋势看来，正有着许多新技术和新思想不断涌现，不同概念和云数据管理概念的结合创造出来更多的云数据管理技术。目前云数据管理技术发展趋势正倾向于将不同学科、不同领域的概念与之相结合形成新的管理技术，这种发展不仅能够促进云数据管理技术的创新，也加强了云技术与其他学科技术的结合发展，促进了不同技术的融合与共同发展。
5结束语
云计算与分布式技术范文3
关键词 云计算；云数据；管理技术
中图分类号：TP315 文献标识码：A 文章编号：1671—7597（2013）032-007-01
在过去，为了实现更大的范围的资源共享和高效率的低成本计算，在充分利用网络计算与存储资源的基础上，提出许多类似云计算的模式如软件即服务（SAAS）、平台即服务（PAAS）、按需计算、互联网计算等的新理念，在这些理念研究和发展的基础上，“云计算”概念才被正式提出，因其清晰的商业概念和模式引起广泛的关注和了解，受到学术界和工业的普遍称许，成为近几年最具影响的信息技术之一。继亚马逊提出简单存储服务S3和弹性计算云EC2，“云计算”发展的新阶段正在来临，本文在这样的背景下对当前的云计算发展提出自己的理解和思考，目前网络的数据数据管理正在向云数据管理技术发展，一个全新的管理研究领域正在形成。本文介绍了云计算技术和数据管理技术的基本原理，分析云数据管理领域的主要研究方向。
1 云计算技术
现代社会每天的信息如海量般涌入，用户对技术及的存储能力提出越来越多的要求，云计算作为一项正在兴起的信息技术，因其改变传统用户使用计算机的模式，根据客户的要求提出不同的存储能力、应用服务能力和按需分配的能力，用户在体现计算资源时很便捷和自由，同时降低使用硬件和软件采买费用，云计算在面对极大的分布式模块提出了分布式系统和网格计算的新概念，应用的重点在于以巨大的数据存储功能来提高计算的效率，通过以上种种还延展出其他的应用形式。当前的云计算不在仅限于计算这个问题的本身，现在仍需配合其他的成果和技术来提升云技术的基础功能。
云计算以互联网为载体提供平台、软件和基础架构的服务，以虚拟技术为基础，整合可扩展的海量数据、应用、计算、存储等分布式计算资源协同超级计算模式的运行。目前云计算的概念和分类初步区分，云计算究竟反映怎样的价值更为重要。云计算最核心的是使得计算资源可以实现动态的分配，消费者在无需困扰复杂的技术前提下最大限度实现使用功能。云计算机构分为公有云和私有云两种，实现改善业务，降低成本好精简数据等核心价值。云计算的一个重要价值是软硬件需求的按需扩展能力，完全脱离“本地”计算、数据资源的云计算只是一种比较理想的状态，考虑到私有云、遗留系统、可靠性、安全性等因素，云计算具有整合资源按需扩展方面的特殊意义。云计算在传统电信增值服务的基础上进行一些开拓和延伸，给互联网用户提供信息技术基础资源，在很大程度上减低互联网用户的使用成本，用户可以投入更多的时间和精力关注自身业务的发展。云计算将大量计算分布在分布式计算机之上，数据中心运行更接近互联网的运行模式，企业根据自身的需求转换相关资源，并有效实现和促进企业的管理。云计算因宽带接入、按需服务、虚拟化资源池等特点，对当前的信息技术系统带来巨大的有挑战和风险，对未来云计算技术的发展提出了更高层面的要求。
2 云数据管理技术
云数据管理系统基础理论建设日渐成熟和完善，但也存在一些无法解决的问题和困境，云计算搭建平台用户数据的分隔问题，在数据因为意外丢失时怎样高效修复和恢复的技术，在应对完全认证和外部审计时云数据体现出的一致性和安全性，云计算支持传统网路数据管理系统和数据库管理系统，在云数据管理方式的变换方面研究，将原有的数据库查询功能增强，目前在研究领域运用S3、HDFS、GFS等文件系统可以很好的解决云计算中大量的数据集合问题，对于云端出现的大量数据进行有效解读，结构化数据管理在依靠专门数据管理的同时，两者之间的关系也很微妙，相类似于一方负责文件组织一方负责数据管理，云数据管理应该着眼于云计算中大量数据精准定位和数据集合的高效管理，只有高效的管理模式才能适应不断海量的信息冲击。
谷歌目前运用BigTable作为有效管理大规模结构化数据的分布式存储系统，在继网络数据管理系统和数据库管理系统之后，云数据管理系统成为一个重要发展阶段，云数据管理技术大规模、结构化、分布式等特点出发，把BigTable等分布式数据管理系统演化系统界定为云数据管理系统，它在应用上为客户提供方便快捷的数据模型，提供高效的数据读取率，但是不完全支持关系数据结构。为了实现原有数据系统的逐渐丰富化和多元化，不断提高查询的功能和索引功能，云数据服务智能和数据挖掘等方面亟待提高。我们相信在技术的创新与变革过程中，厚重的沉淀一定会提供更多的支撑力，随着人们的认知的提升和普遍接受认知性的提高，社会的大量信息化的冲击下，云数据的管理技术也越来越赢得普遍的关注，我们传统的数据处理方式在应对海量信息的冲击下，会出现一定的困难，云数据管理系统从全新的视角阐释了数据处理的问题，从更深的层面对数据额的处理问题给与一定的关注和理解。随着应用领域的不断发展和演变，现在出现越来越多新的数据管理技术，导致数据存储和管理方式不断在变换。
总之，目前云计算出现并得到了迅速发展的结果，同时也是数据密集型技术发展的必然结果，目前云计算技术还未形成一定的系统和标准，云计算的平台搭建成功后承载了很多用户，但云计算技术仍面临数据安全、服务质量和行业标准等等一系列亟待解决的问题，而云数据管理技术出现了一些管理平台和应用实例，随着目前科技的发展和学界的普遍关注，在逐渐推进云数据管理技术日渐成熟和完善，在应对大量信息的冲击下感到一定的困难，依靠云数据管理技术增加对问题的探讨和解决。
参考文献
[1]刘正伟，文中领，张海涛.云计算和云数据管理技术[J].计算机研究与发展，2012（1）.
云计算与分布式技术范文4
关键词 云计算 云数据管理技术 Dynamo技术 Big Table技术 GFS技术
一、引言
我国经济社会的快速发展让企业在处理信息的时候承担了更多的压力。尤其是对海量数据的整理、分析和总结，传统的计算机分析系统已经不能满足企业的需求，云计算和云数据管理技术应运而生。目前，在我国云计算已经逐步应用到了各个行业之中。这样不仅可以有效节省用户的资源，同时还可以降低企业的经济成本。最重要的是，其提高了计算的效率和准确率，扩大了数据存储的空间。因此，对云计算和云数据管理技术的分析成为有关行业的重要目标。
二、云计算的特征分析
云计算操作简单方便，数据处理效率高、准确率高，能够处理大量的数据，而且不会出现系统崩溃的情况。因此，通过云计算在实际对数据的处理中体现出的特征进行总结和分析，主要体现在可靠性、经济性、管理性、服务性内容之上。经过具体的操作分析可以发现，高服务性主要体现于客户可以不了解云计算的特性以及具体操作方式，而云计算可以分析出客户的需求，这样可以有针对性地帮助客户。其次，云计算的可靠性体现在利用率分布式的存储方式上，这样即使是用多台计算机计算而产生了一定的错误，也可以通过数据冗余管理的方式和容错性指导计算机进一步进行计算。
三、云数据管理技术的分析探讨
云数据管理技术是云计算的具体执行过程，主要分为四个环节。第一，是数据组织管理，既可以采用分布式数据存储系统，对海量的数据进行存储和访问，主要具有容错性，可以完成云计算中的数据运算功能；第二，则是数据集合管理，就是对具有动态性和不确定性的数据进行统一的管理，对大量的数据进行归类和分类处理，主要采用的处理技术是分布式处理技术；第三，则是分布式并行处理，主要体现在分布式数据环境中，可以对数据进行大量的挖掘对比，然后依据数据的特点，可以形成映射关系，找到数据之间的关系，对于下一步的管理以及数据的匹配具有重要的作用；第四，则是数据分析，数据分析是云数据管理技术的最终目的，因此想要完成数据分析，首先应该在海量数据库中提取和挖掘数据，并且判断挖掘的数据的可靠性和可利用性，然后对挖掘出来的数据包含的信息和潜在的信息进行分析、总结，为将其应用到其他领域做准备。
四、Dynamo技术分析
Dynamo技术在云计算和云数据管理中是一个存储系统，其形式是分布式的，具有数据库的特点，而且Dynamo技术是以AWS为基础技术实现自身的存储功能。另外，因为Dynamo技术是以DHT的理念为基础进行设计的，因此在各个环节的衔接点上具有环内自主转发，而且自主性极强的特点。同时，由于各个环节是被主控制点控制的，所以出现故障的概率十分小，每个节点都是被严格控制的。而且其中最突出的一个优点就是能蛱峁┒喔龈北荆然后经过实际的数据调整和改变，重新进行记录和修改，确保最终的记录是正确的。同时，因为其负载均衡，所以能够采用DHT的模式，把数据均匀地分布在各个节点进行储存。而保证数据的访问量也是均衡的，这对于数据处理十分重要。
五、Big Table技术分析
Big Table技术是一种巨型的分布式的数据库，主要以GFS和Map Reduce为基础。其实际的表现就是一个巨型的数据表格，通过把不同类型的数据进行归类整理，形成的数据表格和数据包的规模要大于1024TB。同时，因为Big Table技术也具有扩展性，因此在存储海量的数据的时候也可以不断扩大，导致利用Big Table技术可以不断扩大存储空间和存储数据的量，有效地显现了云数据管理技术的优势和特点。而且利用Big Table技术可以保存每一个页面的内容，而每一个字符串代表的就是单元格的内容，因此可以存储海量的数据。最重要的是，可以利用Big Table技术对文件进行编名、标注，这样在查找的时候就会更加方便。
六、GFS技术分析
GFS技术也是一个巨型的分布式的存储系统，与Big Table技术以及Dynamo技术的联系是十分紧密的，能够为使用者提供大量的数据支持和海量的数据存储。而且由于GFS技术主要面向客户使用，因此在节点上存在客户端和服务器，并且可以提供专业的数据接口，同时可以利用同一个数据函数完成数据的链接。而且GFS技术是一个数学逻辑，对于数据的管理十分重要，避免数据存储出现错误。
七、结语
云数据管理技术和云计算是社会信息化发展，海量数据诞生引发的一种数据计算和存储的变革技术，对当今社会的数据处理具有重要的作用。通过本文的分析可以知道，Dynamo技术、Big Table技术以及GFS技术都是云数据管理技术之一，具有扩大数据存储空间、快速处理数据的特性，而且因为具有一定的容错性，所以不会因为某些数据错误而导致系统崩溃，能够继续运行。因此，云数据管理技术和云计算在当今社会起到了重要的作用。
（作者单位为成都理工大学）
参考文献
[1] 周治宇.云计算和云数据管理技术分析与探讨[J].信息通信，2015（08）：178
-179.
[2] 罗亚东.云计算和云数据管理技术的思考[J].电子制作，2015（04）：111-113.
云计算与分布式技术范文5
关键词云计算业务形态内涵虚拟化网格计算框计算· ·1引言
云计算是互联网领域近两年来非常热门的一个新名词，自诞生之日就引起了业界极大的关注。由于是多种技术混合演进的结果，加之有各个IT巨头公司不遗余力的推动，云计算的发展极为迅速。与此同时，各种与云计算相关或是相近的应用和服务，纷纷被打上云计算的标记推上市场。
一时间，关于云计算的应用和服务异常丰富，种类也是相当纷繁复杂。在云计算应用迅速发展的同时，各个IT公司和研究机构也都从各自不同的研究角度和利益立场出发，分别给出了各自对云计算的理解和定义，以期能够在理论、标准和产品方面占据主导地位。目前，关于云计算的定义和解释至少已有25种之多。
面对云计算应用如此迅猛的发展态势和对云计算众说纷纭的理解，如何归纳和分析云计算当前的发展规律从而能够把握云计算的本质和内涵所在，是当前云计算领域一个亟待解决的重要问题，这将决定着云计算的未来发展。本文从归纳分析云计算目前发展的业务形态出发，分别以表象、内涵和外延3个不同的维度对云计算目前的发展情况进行了剖析和研究，旨在发现和提炼云计算发展的本质规律，以期能够把握和指导云计算的未来发展。2表象：云计算的4种业务形态所谓表象就是指云计算外在的表现形式，即云计算所能提供给用户的业务和应用类型。
例如，对于个人用户，目前云计算能够提供的部分业务形式参见图1。图1所示的GoogleDocs拥有一套功能非常强大而且免费的在线文字处理程序、电子表格程序和文档演示程序，是传统办公应用程序在云计算模式下运用的经典实例。再比如电子邮件，如果用户拥有了一个互联网电子邮件账户，就可以说是加入了云计算潮流。如大多数雅虎或Gmail用户就可以通过互联网来检索、读取及编写电子邮件，要是没有云计算，他们就无法使用电子邮件应用软件，也无法访问电子邮件本身。
对于云计算所提供的诸多业务形式，不同的业务由不同的底层支撑技术提供支撑。对于不同的业务形式，云计算在进行业务提供时，业务提供的思路也是彼此之间存在差异。因此，根据云计算所提供应用和业务底层支撑技术的不同以及业务提供思路上的差异，本文将目前云计算所提供的诸多业务形式和应用类型经过归纳研究分为4种类型，具体包括存储云、计算云、分布式构件云和网络化软件云。
(1)存储云存储云就是一个大规模的分布式存储系统，对第三方用户公开存储接口，用户可以根据自己的需要来买相应的容量和带宽。存储云的应用形式包括个人用户磁盘、企业数据备份和数据中心等。(2)计算云计算云的基本功能是将来自用户的计算任务拆分，然后再派发到云中具备相应功能的节点进行分布式的并行计算，进行全部相关计算之后，再将最终的互联网中云计算技术研究张健工业和信息化部电信研究院通信标准研究所工程师，博士曹蓟光工业和信息化部电信研究院通信标准研究所副总工程师，博士摘要从云计算的表象、内涵和外延3方面入手，对云计算进行了分析，总结出云计算的4种业务形态，提出了云计算的内涵和本质，并对其与云计算相近的技术进行了比较和分析。
关键词云计算业务形态内涵虚拟化网格计算框计算·1·《电信网技术》2009年10月第10期互联网技术网络技术———互联网技术专题网络技术1引言云计算是互联网领域近两年来非常热门的一个新名词，自诞生之日就引起了业界极大的关注。由于是多种技术混合演进的结果，加之有各个IT巨头公司不遗余力的推动，云计算的发展极为迅速。与此同时，各种与云计算相关或是相近的应用和服务，纷纷被打上云计算的标记推上市场。一时间，关于云计算的应用和服务异常丰富，种类也是相当纷繁复杂。在云计算应用迅速发展的同时，各个IT公司和研究机构也都从各自不同的研究角度和利益立场出发，分别给出了各自对云计算的理解和定义，以期能够在理论、标准和产品方面占据主导地位。目前，关于云计算的定义和解释至少已有25种之多。
面对云计算应用如此迅猛的发展态势和对云计算众说纷纭的理解，如何归纳和分析云计算当前的发展规律从而能够把握云计算的本质和内涵所在，是当前云计算领域一个亟待解决的重要问题，这将决定着云计算的未来发展。本文从归纳分析云计算目前发展的业务形态出发，分别以表象、内涵和外延3个不同的维度对云计算目前的发展情况进行了剖析和研究，旨在发现和提炼云计算发展的本质规律，以期能够把握和指导云计算的未来发展。2表象：云计算的4种业务形态所谓表象就是指云计算外在的表现形式，即云计算所能提供给用户的业务和应用类型。
例如，对于个人用户，目前云计算能够提供的部分业务形式参见图1。图1所示的GoogleDocs拥有一套功能非常强大而且免费的在线文字处理程序、电子表格程序和文档演示程序，是传统办公应用程序在云计算模式下运用的经典实例。再比如电子邮件，如果用户拥有了一个互联网电子邮件账户，就可以说是加入了云计算潮流。如大多数雅虎或Gmail用户就可以通过互联网来检索、读取及编写电子邮件，要是没有云计算，他们就无法使用电子邮件应用软件，也无法访问电子邮件本身。对于云计算所提供的诸多业务形式，不同的业务由不同的底层支撑技术提供支撑。对于不同的业务形式，云计算在进行业务提供时，业务提供的思路也是彼此之间存在差异。
因此，根据云计算所提供应用和业务底层支撑技术的不同以及业务提供思路上的差异，本文将目前云计算所提供的诸多业务形式和应用类型经过归纳研究分为4种类型，具体包括存储云、计算云、分布式构件云和网络化软件云。(1)存储云存储云就是一个大规模的分布式存储系统，对第三方用户公开存储接口，用户可以根据自己的需要来买相应的容量和带宽。存储云的应用形式包括个人用户磁盘、企业数据备份和数据中心等。(2)计算云计算云的基本功能是将来自用户的计算任务拆分，然后再派发到云中具备相应功能的节点进行分布式的并行计算，进行全部相关计算之后，再将最终的互联网技术网络技术———互联网技术专题网络技术。（编选：）
云计算与分布式技术范文6
1 文献统计数据及分析
笔者在中国知网（cnki.net）的中国期刊全文数据库、中国学位论文全文数据库和中国会议论文全文数据库检索题名包括“云计算+档案”、 “云技术+档案”和“云档案馆”的文献（检索时间为2014-3-12），删除其中新闻报道性和重复性的论文后，共检索出78篇论文。
1.1 时间分布。这78篇相关论文的时间分布如表1所示：
由表1可见，我国档案学界对云计算的研究始于2009年，2009年后开始引起学者较多关注，到2013年掀起一个较小的研究高潮（2013年发表相关论文共33 篇），但是依据百度和Google的搜索结果，尚未出版云计算应用于档案管理的相关著作。
1.2 主题分布。上述78篇论文，其研究的主题可以分为理论研究（介绍云计算的概念、特点、优势，应用的可行性、问题及对策等）、具体应用（研究云计算在档案业务环节的具体运用，如备份、整合与共享、利用与服务、云档案馆等）、系统和平台构建（研究基于云计算的系统和服务平台架构、服务模式等）和应用的安全性。78篇论文的主题分布如表2：
从研究的主题来看，目前档案界对云计算的理论和应用设想方面的研究占主导，分别占全部论文的43.6%和44.9%。但是，基于云计算的系统、服务平台构建的研究论文只有5篇，对于如何用技术手段来实现“云”并没有系统深入的研究。
1.3 作者机构分布。各研究主题的作者机构分布见表3：
从表3可以看出，78篇研究论文作者中有22篇来自高等院校的档案院系，占全部论文的28.2%。26篇论文作者来自其他机构，约占33.3%，其他机构包括高校除档案院系和档案馆室的其他院系和部门、事业单位、军队档案馆等。从表中数据看，高等院校的研究者倾向于研究云计算在档案业务环节的具体应用，而其他机构的研究者更注重理论研究和云计算在人力资源档案、会计档案、健康档案等领域的应用与实现。
2 主题分析
2.1 云计算的概念和特点。田雷提出：“云计算是一种网络服务方式，提供了IT服务的一种交付和使用模式，用户可以通过网络租用或免费获取所需服务。”他还提出目前云计算的三个服务层次：基础设施即服务、平台即服务、软件即服务[2]。黄正鸿认为，云计算旨在通过网络（互联网和内部网）以按需、易扩展的方式获得所需的硬件、平台、软件及服务等资源。其特点可以归纳为：资源池；按需、自助；快速弹性；广泛的网络访问；可度量的服务[3]。陈康明认为，云计算是基于网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等已有网络技术发展起来的一种基于互联网络的服务信息共享模式。云计算的特点是：数据存储更加可靠、安全；资源的合理分配；先进技术理念带来的以用户为中心的个性化服务[4]。
2.2 云计算在档案领域应用的可行性分析。刘永提出，云存储在技术、管理和经济上已经具备了数字档案存储的基本条件。云存储技术是分布式文件系统技术、网格技术、集群应用等技术的集成，后三种技术在理论和实践上都逐渐成熟。云存储将分散在各地的数字信息集中存储，各档案馆（室）可以根据需求来申请适当的存储空间，降低了资金投入[5]。朱悦华、何丽萍、丁建萍认为，云计算时代“云档案”的实现具有较为完备的云计算理论基础、较为成熟的云计算技术条件、较为低廉的云计算经济成本和较为完善的云计算实践环境[6]。
2.3 云计算在档案管理中的应用优势。文杰提出了云计算在数字档案馆应用中的四大优势：确保档案服务器的可靠运行，降低服务器的出错概率；降低相关的维护费用；扩展了信息资源共享范围；丰富的终端设备[7]。彭小芹、程结晶结合云计算的特点提出云计算在档案领域的应用优势，即可靠、安全的数据存储；方便、快捷的云服务；强大的计算能力；诸多技术的集合体；经济效益；个性化；以用户服务为中心[8]。祝庆轩、桑毓域、方昀提出了云档案馆模式的优点：有利于政务信息公开；有利于统一全国各地区档案工作标准；有利于节省软硬件投资；有利于减少对计算机人才的依赖[9]。
2.4 云计算应用面临的问题和对策。黄正鸿提出云计算技术本身存在的一些问题，如标准问题、版权纠纷问题、数据隐私问题、安全问题、软件许可证问题、网络传输、用户使用习惯问题等[10]。陈康明认为，云计算应用面临的首先就是信息安全问题；其次是执行的国际标准问题。对策是完善基础设施建设；制定安全监测环节和相关技术；制定监督和管理机制[11]。文杰认为，云计算应用面临的问题主要有资源的选择问题；协议和接口问题；数据安全问题。对策包括加强人才队伍建设；完善基础设施建设；制定相关政策规范云计算标准；提供基础建设的统一监控、管理和控制；加强安全检测[12]。
2.5 云计算在档案领域的应用设想
2.5.1 云计算在档案存储、共享与服务中的应用设想。田雷提出可以通过“基础设施即服务”整合档案行业的服务器、存储器等设备，部署“云计算”环境，向各级档案部门提供基础设施服务[13]。陶水龙提出了基于云存储技术的档案数字资源的云备份和多套多地的档案数字资源备份数据存放策略，建立了云备份系统架构及其运行机制[14]。吕元智提出了国家档案信息资源“云”共享服务模式，将分散的国家档案信息资源通过云服务平台组织起来，形成一个个档案信息资源服务“云”[15]。祝庆轩、桑毓域等提出档案馆馆际云服务，将档案馆电子文件信息置于云中心，用户可以利用云计算技术检索云档案馆“虚拟资源池”[16]。卞昭玲、李俐颍等提出通过云存储解决档案信息的存储、档案信息的收集问题，同时可以共享档案信息 [17]。
2.5.2 云计算在专门档案领域内的应用研究。廖玉玲提出了基于云计算的建设工程档案全过程监管模式的系统方案[18]。刘振鹏、卞昭玲等提出了基于云计算的区域电子健康档案服务系统[19]。邓岚提出运用云计算技术搭建国家综合减灾信息管理与服务系统，并分析了云计算技术在灾害档案信息管理中的应用优势和障碍[20]。
2.6 基于云计算的数字档案管理系统和平台构建。程春雨提出国家开放档案信息资源共享利用系统应采用两级部署方式，分别部署在中央云中心和50个国家综合档案馆。中央云中心应用系统开发主要包括档案信息资源整合系统、平台管理系统、国家开放档案信息资源共享利用门户网站；省节点应用系统开发主要包括省节点档案信息资源整合系统和基础工具包软件[21]。程结晶提出要构建统一的云存储平台，采用虚拟化技术，开发基于“元数据”访问的分布式数字档案数据访问接口，构建完整的云服务平台来实现数字档案资源的访问服务、请求认证服务、安全数据传输服务和快速资源搜索和资源发现服务[22]。郑光辉提出了基于云计算技术的数字档案利用系统设计方案，详细描述了基于云计算的档案信息资源整合系统、云平台管理系统及开放数字档案利用门户设计方案[23]。蔡学美提出云计算数字档案馆系统主要是由云计算数字档案管理应用程序、数字管理节点、计算机专用网络、安全防火墙、公用和私有的硬件设施等构成[24]。朱悦华、何丽萍等提出构建“云档案”资源共享系统，其系统理论模型由资源层、管理中间件层和服务层等三层构成[25]。
2.7 云计算应用的安全性。徐华、薛四新等提出云数字档案馆安全保障体系应包括防御系统、监控系统、容灾备份系统、应急响应系统和技术支撑系统，通过安全法规体系、安全组织体系、安全管理制度体系、安全人员培养和培训体系来保证[26]。崔海莉、张惠达提出将档案信息管理系统推入云的基础设施上，服务中断、数据失真、敏感信息泄露是可能遭遇的技术风险，组织策略、准入退出机制是可能遭遇的管理风险[27]。
3 问题与展望
3.1 问题。首先，研究内容重理论轻技术。当前对于云计算基础理论的研究较多，关于如何运用技术手段实现其具体应用的研究较少。78篇论文中只有5篇从技术角度阐释了云计算应用于档案领域的具体实现方式。应用设想相关论文仅仅止步于“设想”，对具体应用及如何实现其应用轻描淡写，缺乏技术因素。
其次，研究缺乏实践基础。相对于云技术在其他领域的快速实现，传说中的云档案馆、档案云尚未付诸实施，对于云技术的应用需求也没有实际调研，因此，大多数研究缺乏一定的实践基础。
3.2 展望
3.2.1 研究内容。首先，对云计算的应用研究应更多关注档案资源的共享与服务。云计算的精神内核在于资源的共享。在全新的云计算模式下，研究者应站在整个国家档案资源共享和利用的角度谋划“云”，探寻如何利用云计算技术更加科学地整合和共享全国档案信息资源，并向公众提供高效快捷的信息服务。其次，适当扩展研究内容，构成完整的研究体系，例如，云计算环境下传统的档案管理模式和管理策略是否发生变化？云计算在档案部门有效应用应具备哪些条件？“云”之间如何交互协同？云计算的行业标准研究等。最后，与国外相关研究相比，国内研究应更注重云计算在档案领域的实际应用与技术实现。
