数据解决方案范文1
关键词：IT系统 数据信息 安全解决方案
中图分类号：TN919 文献标识码：A 文章编号：1672-3791（2013）05（c）-0028-02
1 总体设计思路
为了加强对IT系统核心数据的安全管控，本方案借助SaaS云平台技术着力为企业的数据信息安全设计一套“安全城堡”——数据安全管控平台，OA、EDA的用户都需要到平台上进行日常办公，通过平台提供的办公软件（如：word/excel/ppt/pdf/rar等）实现文件的编辑；所有的数据只能在平台内部流转，公司的战略决策、经营数据等等机密数据只能在平台中查看、修改和传递。该平台就是一个典型的SaaS型云计算应用在安全领域的虚拟场景，它通过IE浏览器向用户提供一切应用服务，所有的办公软件、电子邮件以及OA和经分系统均由云来提供，从而实现一个封闭的办公工作环境。同时，该方案通过闭环审批、数字加密和PDF水印等技术，有效防范核心数据的泄漏，保证核心数据的只能看、不能下，能互传，需要下、领导批、加水印。
数据安全管控平台方案如图1所示。
2 数据安全管控平台的特色功能
（1）软件透明化。
很多人熟悉Google Docs的使用场景，在浏览器中完成文件的编辑，此为应用的1.0版本；1.0版本的致命缺陷是改变了用户的使用习惯，文档被困在浏览器的窗口中，不能全屏。本方案将在windows 2008 server的Terminal Services RemoteApp技术上通过定制开发，实现应用软件动态在线，和用户本地安装的软件无任何区别，提升用户的使用感知。
（2）弹性云计算的应用。
该方案通过应用云平台的使用，实现应用的动态伸缩、按需分配，以降低能耗，达到节能减排的目的。通过管理中心实现智能调度，实现空闲时（如夜间）服务器自动休眠，繁忙时（上班期间）服务器自动激活。经过测算，假设该方案为7500个用户提供在线办公服务的场景，按照需求配置12台刀片服务器的情况，每夜可以休眠8台服务器，以每台机器600 W功率，每天休眠8小时，1年节省的电费高达19622元，随着系统规模的扩大，节能减排的效果更好。
（3）个人文件夹的应用。
通过云端给每个用户设置一个个人文件夹，所有从OA、EDA系统中下载的文件只能保持在个人文件夹中，在个人文件夹中可以查看、编辑和传递文件，不同用户的个人文件夹保持隔离，但可以相互传递文件，传递的文件将被管理中心系统进行审计。
（4）公共存储区的应用。
在实际应用场景中，大量相同的文件被很多用户保存在各自的个人文件夹中，极大的浪费了存储空间。为了避免相同的文件被重复存储，该方案设计公共存储区，通过Hash算法能够识别出相同的文件，文件只保存一份在公共存储区，个人文件夹中只有保存文件的路径信息，以此节约大量存储投资成本。
3 数据安全管控平台解决方案
3.1 应用云技术
基于应用云技术将用户需要使用的应用软件或工具（包括B/S和C/S架构的应用）集中部署在应用服务器上，应用云平台通过WEB服务器向不同用户或用户群其所需的应用（包括OA系统、经营分析（EDA）系统、各类办公软件等），用户在客户端通过应用云平台提供的远程IE浏览器访问其所需要的应用（图2）。
3.2 用户集中管理
系统基于“主从帐号”机制实现用户的集中管理和单点登录功能。
（1）主账号：用户登录数据安全管控系统的账号。系统的各项安全策略设置、用户的操作审计记录等均基于该帐号实现，该账户需进行身份的实名认证。
（2）从账号：用户登录各业务系统的原始账号。每个从账号需根据各用户的实名身份与主账号进行自动关联。
系统需提供用户主账号的生命周期管理功能。系统支持对用户的属性（临时用户、周期性用户、永久用户）进行灵活设置。
3.3 私有文件夹
系统针对用户的主账号提供相应的私有文件夹功能。私有文件夹具有以下功能和特点。
（1）每个主账号只能访问自己的私有文件夹，禁止互相访问。
（2）主账号在应用云平台的操作数据将保存在私有文件夹中。
（3）当主账号需要对某文件进行下载时，该文件将被同步至专有的文档服务器中，用户需要在文档服务器中进行下载。
（4）应用云平台需针对所有文件的上传、下载进行审计。
（5）应用云平台需提供针对所有文件上传、下载审计的模糊搜索和报表功能。
（6）下载时需采用加密机制保证数据的安全。
3.4 文件传递和流转
数据安全管控系统支持在私有文件夹中进行文件的相互传递和流转功能。在私有文件夹中，不需要审批即可进行文件的相互传递和流转，但被传递和流转的文件内容将被审计记录。
当系统接收到文件传递或流转申请的请求后，管理服务器将需传递或流转的文件以及相关的审计信息直接传递至文档服务器的其他用户的权限目录下，同时将该文件以及该文件的审计信息备份到文档操作备份服务器上，以便事后查询。
3.5 PDF水印
为保证下载到应用云平台中的文件安全，管理员可对某些账号或某些文件设置导出文件添加PDF水印功能，相关处理流程如下。
（1）管理员定义应用云平台的数据安全策略，包括以下几点。
①纳入控制的主账号列表。
②只允许通过PDF形式导出文件的列表。
（2）如果只允许PDF，则PDF设置权限需包括。
①是否允许导出（包括打印）。
②是否需添加水印（水印内容为下载用户的姓名、工号等实名信息）。
③是否允许被复制。
（3）用户选择需导出的文件，申请下载，根据虚拟平台数据安全策略系统将提示用户将文档导出为PDF格式。
（4）用户下载申请通过后，将成功进行文档的下载。
3.6 虚拟工作区
在私有文件夹中，系统支持通过应用云平台远程的Word、Excel、Powerpoint、计算器等常用办公软件对文件进行编辑、修改等操作。所有数据均保存在应用云平台的私有文件夹中，不允许保存在本机硬盘。如需保存在本机硬盘，必须进行下载审批并添加相应的水印。
3.7 闭环审批
在应用云平台上，系统可对文件的上传、下载等操作行为进行审计和审批。如某用户因业务需要需下载某些敏感数据，系统将根据相关的安全策略对数据的下载进行审计、审批，同时通过短信、邮件等方式通知相关负责人，最终形成闭环审批。同时也可将某用户设置为无需审批权限，即该用户可直接下载、上传敏感资料，无需审批，但其下载、上传的文件和操作过程必须存档备份，以便事后查询。
3.8 日志审计
数据解决方案范文2
关键词：海量数据存储;分布式数据库;MPP架构;并行处理
目前海量数据处理还是一个比较新的研究方向，大多数都是各公司或者是组织各自研究自己的处理方法，国际上没有通用的标准，研究的方式和结果也都是各有千秋。针对项目中带有复杂业务逻辑的海量数据存储，主要从容量扩展和并行处理两个方面考虑。前文己论述过NoSQL分布式数据库由于其数据结构简单、不善于做JOIN连接等复杂操作，存在数据迁移问题，并不适用于本项目，所以本解决方案依旧从关系型数据库入手。其次为了支持多样的切分策略，本论文将实现range、list、consis
tent-hash模式。最后系统借鉴MPP并行处理架构，使得整个项目能部署在便宜的PC集群上，不仅能保证稳定性，还节省项目成本。
物理设施包含数据库服务器的基础架构、web服务器的选择，以及资源分配管理服务器的选择。这三者分别负责数据的存取、数据的分析处理以及资源工作的均衡分配，它们协同合作，共同搭建一个高效的协同的后端服务管理，使存储系统均衡工作、高效运行。
作为解决海量数据的存储方案，首要必须考虑是存放海量数据的需求。根据前文可知，分布式数据库的出现其根本原因是解决存放不下数据的问题，故而将数据依照策略存放在不同的数据库服务器上，存放数据的策略以及数据之间的并行查询处理是研究的重点。第二个问题是分布式处理方案，现有技术从各个方面进行过尝试，有的基于关系型数据库提出了多种shard
ing方案。将关系型数据库迁移到非关系型数据库上代价太大，所以本解决方案基于关系型数据库的系统。
根据以上的设计思路与实现目标，设计出分布式海量数据存储解决方案。该系统主要包含以下四个模块：
SQL解析模块。SQL语句复杂、格式多样、形式多变，解析结果作为数据切分的依据。解析SQL语句的方法是编译成字节码，生成语法树，这种方式的优点是准确率高、数据层次清晰、结构正确，但设计到相关语法树知识，比解析字符串更难以理解。
数据分发模块。如果集群系统中没有进行数据切分，则多台数据库服务器存储的是完全一样的数据，这实际上是对硬件资源的浪费，也在同步数据保持一致上浪费了更多的时间和效能。而且一旦数据再上升一个等级，很可能一台服务器就无法存储下大量数据。所以合适的数据切分策略是迟早的，本解决方案将结合现有的数据切分策略，结合业务逻辑，提供多样的切分策略，并且预留切分接口使用户灵活地自定义自实现，系统的可用性更高。
并行处理模块。由分发服务器和多台数据库服务器构成。相对于集中式数据库来说，分布式询代价需要考虑以下因素：
CPU处理时间，I/O消耗时间，还有数据在网络上的传输时间。在设计系统的时候，应该根据分布式数据库中各个数据库的地理位置的不同情况来设计。在局域网且传输率高的系统中，通信代价和局部处理的开销差别不大，在优化中则应平等对待;在数据传输率较低和通信网速度较慢的系统中，网络传输可能会比花费在查询中的CPU及I/O的开销更大，则应首要考虑优化网络通信。
汇总处理块。结果汇总大致分为两种情况：单机单库情况下，直接返回结果;多机多库的情况则需要在转发节点处进行一个汇总。
基于架构的工作流程大致如下：首先，转发节点收到客户端发来的SQL语句，将依据各个解析节点当前工作量、预计完成解析工作的时间、本条查询语句预估需要时间、历史响应需求时间等因素，将SQL语句转发给各个解析节点，对其进行语法解析。当所有的工作量都经过这个转发节点的时候，必然会产生高并发的问题。在存在多个分发节点的情形下，为了消除单个转发节点的性能瓶颈，本文设计多个分发节点，每个节点都可以将任务转发到不同的解析节点。采用RoundRobin策略将任务依次分发给每个解析节点，让工作量保持均衡。其次，解析节点解析本次查询的SQL语句，生成便于理解的SQL对象，通过调用相应的接口方法可以实现对SQL语句的操作。最后，各个数据库服务器执行了 SQL语句，便对查询结果进行一个汇总并返回，划分倘若是单机查询，那么处理的结果可直接返回给客户端。
SQL解析、数据切分以及转发归并的工作都由以上四个模块协同完成。
基于MPP架构的设计了关系型数据库的海量数据分布式存储解决方案。本章采用解析SQL语句、分发SQL语句，并行处理、归并汇总处理结果的方式完成整个框架。与MySQL
Cluster的区别在于采用的存储引擎就是MySQL，适应于本身就用MySQL进行存储的集中式数据库的改造，或是业务逻辑复杂的报表展示等，无论是业务的扩展，迁移都十分方便。
参考文献：
数据解决方案范文3
高性能――满足目前的网络传输需求,支持至少1G或10G甚至更高速率传输
高可靠性――基于标准的开放系统,预先经过测试,确保系统稳定可靠。
高密度――节省空间,方便设备散热设备散热。
可维护性――美观大方,适应频繁的需求变化,方便MAC维护。
可扩展性――充分考虑未来业务增长,支持未来扩容需求。
方案一、安普布线数据中心高密度铜缆MRJ21系统、∑连接系统和光纤MPO系统
这些系统在减少系统停机时间和设备空间以及布线管理等方面提供了非常好的数据中心解决方案,不但节省机柜、管道的空间,也能提升整个数据中心布线的密度和布线的安装效率。预端接的主干电缆、模块化的耦合器插盒以及集中的连接电缆提供了简单的即插即用的安装,高密度连接器在很小的空间提供更多的端口,高可靠性提供真实的数据传输。
方案二、安普布线高密度线缆管理系统――增加接线密度的同时降低耗电量
该系统是专门为数据中心及要求高密度和高性能的场所设计的,可帮助您确保机架从安装起直至最后移动、添加或更改一直保持良好的组织状态。系统具有高密度、美观整洁、方便散热等特点,支持水平和垂直两种管理方式,为数据中心有序、整齐的线缆管理提供可靠的解决方案。
通过采用智能布线方式提高空间和空气流通性能,可以将冷却重点放在需要高散热量的区域,而不必浪费在冷却传统的无源电缆系统上。通过采用预端接系统,能够提供灵活性的优点,使系统能够在数分钟内完成添加、移动和更改操作。
方案三、安普布线AMPTRAC智能布线管理系统
数据中心要求全天候运行,以及故障安全级的可靠性和连续监测,安普布线AMPTRAC智能布线管理系统可以满足数据中心对布线系统的这一要求。系统在设计和部署上非常灵活,且具有非常好的扩展性,可用于办公楼、数据中心和远程分办事处。它能够支持各种网络基础设施,包括单楼层和多楼层、多建筑物的园区网络等。系统能够加强网络物理层、数据链路层监控,实时跟踪物理层连接,并识别未经授权的网络设备或跳线变更,在发生未授权连接变化时自动报警。使用该系统可以缩短故障排查时间和响应时间,减少网络设备宕机。
方案四、安普布线高安全性系统――提升物理安全性能
对于数据中心,数据保护和隔离是一个非常重要的任务。通过多色解决方案,技术人员可以非常直观地查看与各插头相对应的插口或适配口(以及不相对应的插口或适配口),因此,通过简单的色码区分客户,可大大地降低风险。这些系统能始终确保准确服务连通性,易于分派服务,排除出错可能。
方案五、高性能的万兆铜缆和光纤布线系统解决方案
数据解决方案范文4
领先的技术实力
Sybase公司是数据管理、分析、移动讯息和企业移动领域的市场领导者,目前3.4万个企业客户及财富百强中的91个客户信赖并使用Sybase产品。从1984年涉足企业级软件至今,公司共获得148个数据管理与移动方面的专利,目前尚有185个专利在申请中。公司目前有4000多名雇员分布在60个国家。2007年,Sybase公司收入超过10亿美元,2008年继续增长了10%。在2008年的年度报告中,Sybase持有6.4亿美元的现金。
Sybase赢得了遍及世界各地的忠诚客户群,公司在金融服务、通信、制造和政府部门等主要垂直市场处于领先地位。全球排名前25家银行中的24家、全球排名前50家银行及证券机构的46家,都信赖并使用Sybase技术来进行当天的风险分析。每天,Sybase处理着几十万条从华尔街到东京、从香港到伦敦的实时金融交易数据。
通信行业也正在大量使用Sybase的移动服务,通过700多家移动运营商连接30多亿个用户,每年发送的信息达2000多亿条。利用Sybase公司的数据管理解决方案,处理着数十亿条的通话记录事务。在政府机构,职能部门利用Sybase解决方案移动化了供应管理系统,秒间访问数百万条记录,进行复杂分析,并安全管理关键数据资产。
在零售市场,百货商场使用Sybase企业移动解决方案来改善顾客的购物体验、管理收银系统,并在企业的后端与商场零售点之间提供数据的实时同步。
在信息领域, Sybase是全球领先的信息管理、分析和移动化的软件公司,无论这些信息是在何种系统、网络和设备上。
Sybase在中国
Sybase于1991年12月进入中国,并于1993年成立赛贝斯软件(中国) 有限公司。秉承“用户第一,市场第二;服务第一,销售第二”的市场发展策略,Sybase与用户共担风险,共同前进,稳步发展。如今,Sybase在中国的员工总数已近500人,成为Sybase全球发展最快的海外分支机构之一。为了更好地给国内用户提供一流的技术支持和服务,Sybase已在上海、广州、成都等地设立了分公司,在北京、上海、西安建立研发中心,合作伙伴遍布全国各地。
依靠先进而实用的技术和完善的服务,Sybase不断在中国赢得新的客户,这些客户遍及金融行业、电信行业、政府、交通及能源工业等行业,数量将近2000家。
经过十余载在中国市场不懈的耕耘和努力,Sybase的技术与服务赢得了业界的赞誉和用户的认可,于2007年8月荣膺中国电子信息产业发展研究院、中国信息化推进联盟颁发的中国“IT服务十年成就奖”。Sybase的技术与服务在中国软件市场的双重优势地位得到了进一步巩固和印证。
完善的解决方案
1. 数据管理
许多公司花费数百万美元管理关键信息。随着企业信息量增加,成本和复杂性也开始飚升。更重要的是,许多公司信息是通过硬连线方式接入信息孤岛的。信息被囚困于这样的孤岛上,很难在动态的业务流程中被访问和利用。Sybase公司的信息管理产品能够帮助用户管理复杂的信息,并冲破此类内部障碍,从而保证信息在利用及相关性方面的一致性,并可随时提供经济价值。
从推出第一个C/S架构上的分布式数据库服务器开始,大到数据仓库引擎,小到移动数据库,Sybase凭借领先的技术优势,结合用户的应用模式和需求,推出了适合各种各样的数据管理的解决方案,主要包括Sybase Adaptive Server Enterprise、Sybase ASE 集群版、Replication Server 、Sybase Mirror Activator以及Sybase Real-Time Data Services等。
Sybase的数据管理以“Always Available”(永远可用)信息体系结构为基础,通过可靠、安全和高效的工具,能够帮助企业更好地管理信息,更能够帮助企业从阻碍生产力和效率的传统技术的羁绊中解放信息。
2. 商务智能
Sybase商业智能(BusinessIntelligence)致力于为 新一代商业智能提供核心的解决方案。SybaseBI部门所提供的软件产品与专业服务将数据转化为信息、知识与智慧,以使企业提高市场份额、减少客户流失、向已有客户进行衍生销售等。BI部门与其他领先的商业智能供应商缔结合作伙伴关系,为各类行业市场提供完整的商业智能解决方案,包括金融服务、信用卡市场、保险、银行、通信以及互联网等。
Sybase IQ是全球领先的、基于列的分析服务器,它提供了最智能的方法,使企业能够通过分析,把原始数据变成可付诸行动的措施,从而增加收入、扩大客户群和提高利润。Sybase IQ是唯一能够基于企业的全部信息,按照任意条件,面向所有用户,提供更快速、更准确分析的分析服务器。凭借基于列的核心架构和创新功能,Sybase IQ从多个层面提供了灵活性和可扩展性,能够为最大的数据集、最为复杂的分析任务以及快速增长的BI用户群,提供非凡的查询性能。
Sybase RAP(风险分析平台)是为资本市场公司设计的新一代数据服务技术平台,既可以管理海量数据,又提供实时数据分析所需的速度。它可使资本市场公司及时全面地洞察市场风云,作出更好的低风险的交易和组合投资决策。美国航空、德意志银行等不同客户都已成功地将数据转换为利润,它们共同的特点就是使用Sybase信息流动解决方案。
Sybase 列式数据库机(Analytic Appliance)是一个集成的解决方案,专门用于高性能和 TB数量级的分析。Sybase列式数据库机结合各类领先的技术,包括 Sybase IQ、Sybase PowerDesigner、IBM Power Systems 和 MicroStrategy。它除了拥有所有量身定制的数据仓库功能外,还具有简单、快捷和经济实惠的特点。
3. 移动商务
显而易见,移动时代已经来临了。然而,许多企业仍在苦苦寻觅如何以最佳方式面向移动性重构自身。您所需要的移动解决方案应当能够随时随地将您的企业系统扩展至移动用户,以保持竞争优势。Sybase及其iAnywhere子公司在移动数据库和 移动中间件市场上占有最大的市场份额,而且,我们的移动服务拥有数十亿以上的注册用户,目前位居全球规模最大的移动应用之列。
Sybase Unwired Platform 是 Sybase 新一代支持企业实现应用程序移动化的体系架构。它提供一系列全面的服务,帮助企业将适当的数据和业务流程移动化到任何移动设备上。Sybase Unwired Platform利用一个综合平台,将 4GL 工具和标准开发环境集成而支持的快速开发、异构设备部署和市场领先的设备管理技术结合起来,从而满足企业的所有移动应用需求。而且,它通过推动企业战略化的移动部署,而非采用小规模或局部移动应用的方法,从而极大地降低了企业的总拥有成本。
iAnywhere Mobile Office强大而灵活的解决方案能安全地将电子邮件和业务流程扩展至移动工作人员的手中。她将对众多基础架构的支持、高度的设备安全性、可用性和高性能集成在一起。
SQL Anywhere所提供的数据管理和数据交换技术,使企业能快速开发和部署基于数据库的应用。为企业量身订制的SQL Anywhere数据库大可支持到数千用户在64位的服务器上使用,小可部署到精致的手持设备上。SQL Anywhere的数据交换技术将企业应用和企业系统的信息拓展到运行着前端关键业务的数据库中。
Information Anywhere Suite是一套安全、可扩展的移动软件平台,满足了新一代移动解决方案对融合IT应用的要求。Information Anywhere技术套件将移动电子邮件、设备管理、企业至终端前端的安全和企业应用激活结合在了一起,使企业客户可以安全地将后台企业应用和商业程序业务流程延伸至远方的一线工作人员。
数据解决方案范文5
关键词：集群系统；海量数据处理；高性能
中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2013）21-4784-03
当今社会，信息技术高度发达。据统计，世界上每天产生的数据量可刻满1.88亿张DVD光盘，这是一个爆炸式的增长。未来，这种增长不会停止，数据量每18至24个月就会增长一倍，而物联网的出现，会进一步加快这种信息的爆炸式增长。面对这种海量的数据信息，对数据的管理和处理分析成为一个新的难题，海量数据处理技术应运而生[1]。海量数据处理基本上采用分布式存储技术，把大量信息切片，并行的进行存储和处理，以加快数据处理速度，应用属于IO密集型应用。这种分布式存储和处理架构对计算机硬件系统提出以下要求：
（1）整体架构基于水平式扩展的集群架构。（2）节点CPU要求不高。（3）节点内存需求相对较高，主要用于数据处理缓冲区、磁盘和通信cache，建议每节点CPU内核内存比1：2以上[2]。（4）节点网络通信带宽要求较高，主要用于数据传输和进程通讯，建议采用低延时高速交换网络InfiniBand。（5）节点内部存储容量要求较高，用于海量数据存储，建议2TB以上。
1 海量数据处理平台方案
1.1方案概述
针对海量数据处理需求，我们采用基于高速互联的IBM刀片服务器的高性能计算集群系统，CPU配置主流Intel x86架构CPU，CPU内核与内存比达到1：4，InfiniBand低延时高速互联网络可以满足海量数据处理的数据传输的需求。同时在每个计算节点中配置2TB热插拔内置磁盘存储，用于存储分布式海量数据，计算节点采用无盘启动，无需系统盘。而外置共享存储用于科学计算数据的存储与共享，同时也可承担海量数据处理应用中外部海量数据与处理系统直接的传输中转站[3]。外置共享存储采用IBM GPFS通用并行文件系统，实现计算节点与存储节点间并行文件访问协议以及RDMA传输方式（这样可以极大的提高系统IO通信带宽），同时通过CNFS/SAMBA/FTP/HTTP等二次共享方式，提供给外部客户端多种数据传输及访问方式，最大程度上支持各种各样的跨平台客户端。海量数据处理平台逻辑拓扑示意图如图1所示。
1.2方案设计原则
海量数据处理平台方案设计中，主要依据以下原则：
1）先进性：选择主流趋势的软硬件平台产品，使之不仅能够满足目前业务的需要，还能适应未来技术发展的趋势和需要。
2） 灵活性：优化系统资源配置比例，实现最大的应用灵活性。
3） 可扩展性：提供具有最高可伸缩性的系统，并保护用户现有的投资。
4）稳定性：整体系统确保稳定、高效、连续地运营，能够支持全天24小时的连续运行需求。
5） 开放性：系统方案采用开放标准，开放结构，开放系统组件和开放用户接口。充分满足用户投资保护和业务扩展、系统维护等方面的需求。
1.3海量数据处理平台各组成部分
本方案建议的集群系统中主要包含以下组成部分：管理节点、服务节点、计算节点、系统监控节点、资源/作业调度节点、登录节点、数据传输节点、存储节点、外置共享存储。主要硬件组成如表1所示，主要软件组成如表2所示。
2 方案优势
2.1 虚拟化—计算节点无盘启动
最热门的行业都是在需求和技术更新这双重的推动下前进的，在高性能计算领域中也不例外。如今，在许多行业各种规模的公司都需要解决计算密集的工作负载问题。在本方案中，计算节点采用无盘启动方式，这样就把操作系统和服务器硬件的紧耦合打开，使得海量数据处理服务可以很方便的在不同服务器硬件上运行，不存在紧密的联系，所有服务器相当于一个大的资源池，用户可以根据需求，自由的调度所需资源，并且在硬件出现故障时，缩短系统恢复所需时间；同时服务器内置磁盘可以全部用作海量数据处理，提高磁盘利用率[4]。所有系统镜像采用集中式管理，在进行系统维护、软件升级、修改系统配置等常规系统维护作业时，可以极大的缩短当机时间，减少系统维护工作量；同时我们还可以针对不同的应用，定制所需的不同系统镜像，在不同系统之间方便的进行切换，管理维护极其方便。
2.2 高可用数据服务—GPFS
1）高可用性：随着集群系统规模的不断扩大，用户对数据访问的可用性要求也越来越高，如果因为集群系统中几台服务器的故障，就导致用户数据无法访问，这是不可接受的，GPFS有着无与伦比的高可用性，这是其他并行文件系统无法比拟的。首先GPFS采用仲裁节点组的集群仲裁方式，保证系统在出现网络故障的时候，不会出现头分裂的问题。其次GPFS的磁盘支持多路径访问方式，一个NSD服务器无法的情况下，GPFS客户端会自动通过下一个NSD服务器访问，一个磁盘最多可以支持8个NSD服务器，只有这8个服务器全部宕机，才会出现部分数据无法访问的情况。
2） 高可扩展性：GPFS支持在线进行扩展，在不停止服务的情况上，可以很方便的向GPFS集群加入节点和存储，在线进行文件系统扩容和缩容，在线进行GPFS软件升级。
3） 高IO吞吐量：通过基于文件的条带化技术，GPFS可以对IO访问进行并行处理，通过对多台存储性能的聚合，使得GPFS文件系统可以达到很高的IO吞吐量，并且可以实现IO吞吐量随存储的增加而线性增长。GPFS的IO通讯支持在InfiniBand上的RDMA通讯协议，相对于TCP/IP通讯协议，通讯带宽和延时有很大提高，非常适合海量数据传输和处理。2.3集群可扩展性—两层树状管理结构
随着集群规模的不断增长，传统的单一管理节点的集群管理模式已经逐渐成为集群系统的瓶颈，针对这一问题，方案设计时通过增加服务节点，不但可以支持快速增长的集群规模，还可以更好的支持混合架构的集群，这种二次树状结构可以轻松的支持到几十万节点规模的集群系统[5]。同时系统网络设计也充分考虑了扩展性需求，在充分利用先有设备的情况下，可以轻松的从500节点扩展到1000个节点。
3 小结
本解决方案可以应用于科研和商用领域，构建高性能计算的大型集群系统，进行海量数据处理，并可以减少分散投资的建设成本，降低整体管理成本，为科研机构提高科研水平及企业高效运营提供统一的高性能平台。
参考文献：
[1] 杜智斌.圆桌论坛：如何应对海量数据的挑战[J].程序员，2011，8：31-34.
[2] 张占杰.浅谈海量数据处理技巧[J].科技传播，2011，2.
[3] 侯建，帅仁俊.基于云计算的海量数据存储模型[J].通信技术，2011，44（5）.
数据解决方案范文6
关键字：招生；数据库；网上远程录取；数据处理；vfp
一、关键问题与主要业务分析
全国高校均采用清华同方招生录取系统，该系统的打印通知书功能较差，不够灵活性；也没有完善的查询、统计和汇总功能；该系统不能实现秋季、成人录取新生的数据共存，录取秋季考生数据必须要在计算机中删除以往考生的数据，某一时刻只能录取一个类别的考生，以往录取数据不能保留，虽然各层次录取软件在本质上是一致的，教育部和省招办也要求一定要卸载以往安装的录取软件，最好是重装系统，因为只卸载录取软件是无法清除注册表文件信息的，这就无法实现院校对全年录取各类新生数据进行统计。另外清华同方招生录取系统无法解决专业名称统一的问题，因为院校虽然前期给各省招办计划部门提供统一的各专业名称，但各省招办有可能执行国标名录库中的各专业名称，如：院校提供招生专业为“国际物流管理”，但国标专业名录库中该专业的名称为“物流管理”；再有由于清华同方招生录取系统采用了数据库中泛式的处理方式，从该系统下载的数据是格式化数据，招生办工作人员很难懂其含义，需要另一套处理机制汇总、转意这些数据，使一般招生工作人员能看得懂、能对其操作处理；同样清华同方招生录取系统也无法实现将部分数据分发到各系部、邮局和银行，无法体现院校个体差异性，为完成上述没有完成的功能，本人为天津滨海职业学院招生办设计开发了招生信息处理系统，该系统的应用能够解决上述所有问题，并且能够实现自动化处理，节省人力和时间，提高准确性和效率。
二、解决方案
虽然该系统只是针对天津滨海职业学院招生设计的，但它实际上是针对清华同方招生录取系统的二次开发，适用任何一所采用清华同方招生录取软件的高校。考虑到各个院校计算机硬件条件差别较大，开发没有使用现在较流行的复杂架构和大型数据库，而是采用可以在所有机器上运行的vfp中小型数据库。又由于招生信息处理没有网络需求，只在单机上运行就可以，所以开发采用单机版，而不是网络版。这样就最大程度保证其安全性，不上网安全性有较大提高。
（一）该系统主要包括如下功能模块及功能：
1.分科类模块：该模块能实现普通类不分文理综合科类、艺术科类、只有艺术文科类、成人科类、普通类分文和理模块科类的数据汇总。这个模块主要是分科类从清华同方招生录取系统收集数据，最终生成一个汇总数据库，并在汇总数据库中加入科类、所在省份、系别字段和数据。规范化数据格式，如将清华同方招生录取系统中的录取专业前两位所表示专业志愿顺序号去除。
2.汇总模块：该模块能实现将各类各省中有用的数据加入汇总库中，添加前对数据进行格式化，如添加序号、录取时间、录取层次、学习形式。
3.打印名册模块：该模块能实现分省分科类打印数据名册，数据先按录取专业排序，再按姓名排序，均为递增！最后添加序号，左侧装订2厘米！字段包含：序号、考生号、姓名、性别、分数、录取专业、系别，之后再打印。
4.生成web数据模块：该模块能生成websj.xls，这个文件可以被access等接收，用于上传网上查询的数据基础。
5.生成邮局数据模块：该模块能生成“省份＋邮局.dbf”，包含考生号、姓名、地址、邮编、联系电话等信息，用于邮局给考生寄送通知书。
6.生成各系名册模块：该模块能将各系的新生进行汇总成一个文件，用于分发给各系报到时使用。
7.生成农行数据模块：该模块能生成“省份＋农行.dbf”，包含序号、考生号、姓名、身份证号等信息，用于农行给考生制作校园一卡通。
8.统计一志愿率和本省录取率：该模式能生成各省各科类的计划数、录取数、一志愿率、录取率等统计信息。
9.各专业名称统一模块：该模块能将所有省份的专业名称统一。
10.打印通知书模块：该模块能提取数据打印各省考生通知书，打印顺序为先按录取专业排序，再按姓名排序，均为递增！
三、解决方案中所用的关键技术
1.分科类模块
wait “1为文、理综合；2为艺术分文、理及只有艺术文的情况；3为成人分文、理；回车或其它键为普通分文、理！” to aa windows at 20，40 //该语句实现分科类功能，将用户的输入存入变量aa中，作为后面的多重选择条件的比较值，以此来区别进入哪个模块进行数据处理。
alter table aa add column sheng c(30) //该语句可以实现增加省份字符型字段，宽度30。
repl all xi with “计算机工程系” for lqzy=”计算机应用技术”.or.lqzy=”软件技术”.or.lqzy=”电子商务” //该语句可以实现为各个专业添加系别
select aa.ksh， aa.xm， aa.xbdm， aa.tdcj， aa.tdzy， aa.lqzy， aa.xi， aa.sheng， aa.kl，；
t_tdd.sfzh， t_tdd.lxdh， t_tdd.jtdz， t_tdd.yzbm， t_tdd.zxmc， aa.kstz；
from aa full join t_tdd ；
on aa.ksh = t_tdd.ksh；
order by aa.lqzy， aa.tdcj desc， aa.xm；
into table &asb&asa.\汇总.dbf //从全国高校招生远程录取子系统数据库中提取数据生成汇总数据库。
2.汇总模块
if file(“l:\07年\07总结\2007年秋录取名册.dbf”)=.f.//如果汇总表不存在就建立
create table l:\07年\07总结\2007年秋录取名册(xh n(5)，ksh c(14)，xm c(64)，xbdm c(2)，tdcj c(8)，tdzy c(1)，lqzy c(90)，xi c(30)，sheng c(30)，kl c(12)，sfzh c(18)，lxdh c(20)，jtdz c(128)，；
yzbm c(6)，zxmc c(128)，kstz c(100)，时间c(10)，层次c(10)，学习形式c(10)，报考院校c(50)，备注c(100)) //如果已经存在汇总表，就打开已有的汇总表。
append from &asb&asa.\汇总.dbf //添加各省新生数据到汇总表中
3.统计一志愿率和本省录取率
calculate avg(val(tdcj))，max(val(tdcj))，min(val(tdcj)) to yspjf，yszgf，yszdf for sheng=asa.and.时间=zdsj.and.allt(kl)==”文科(艺)” //应用calculate综合统计命令统计秋季艺术类最高分，最低分，平均分。
四、总结
通过使用天津滨海职业学院招生数据处理系统，使招生的后期数据处理能力显著增强，效率明显提高，以前可能要很多人几天才能完成的工作，现在可以几秒就完成，又快又准确，受到天津滨海职业学院单位的好评，今后继续完善该系统。
参考文献：
[1]谢伟卡.高校招生信息管理系统开发与应用研究.暨南学报(哲学社会科学版). 2001，(06) .
[2]吴洪潭，叶含笑，丁文.高校网上招生系统院校端子系统的设计.计算机工程. 2002，(s1) .
[3]沈锡臣，陈怀楚.高校信息化建设标准规范.清华大学学报(自然科学版).2003，(04) .
