开源项目部县级广电技术资料管理系统

开源项目部县级广电技术资料管理系统

摘要:县级广电的技术资料管理工作一直困扰着基层广电管理者,特别是在各级县级广电系统出现经营困难的情况下,如何充分利用新型的云存储开源技术,实现技术资料低成本的管理成为大家共同寻找的方案。江苏有线网络发展有限责任公司宝应分公司充分发挥基层技术人员的技术优势,采用Linux操作系统为基础平台,结合目前流行的容器虚拟化技术和Seafile开源项目,完成了本地技术资料管理系统的建设,为广电基层资料管理工作提供了可行性方案。

关键词:企业云;资料存储;资料管理;云存储

1引言

云存储技术是近年来一种新兴的基于网络的存储技术,旨在通过互联网为用户提供更强的存储服务,是在云计算的基础上延伸和发展出的一个新的概念,即云计算的资源存储。江苏有线网络发展有限责任公司宝应分公司(以下简称“宝应分公司”)经过多年运营,存在着大量技术资料,这些资料均存储在个人电脑或以纸质文档存储,没有进行统一管理,存在资料分散、更新不及时、保存易丢失和传输安全隐患等各方面问题,亟需从技术和机制方面进行统一管理。目前,宝应分公司正考虑利用云存储技术管理公司的技术资料,但鉴于区县经营压力大,没有更多资金投入系统建设中,故公司充分发挥基层技术人员的技术优势,鼓励开拓创新,降本增效,利用手中资源实现管理功能。2021年初,宝应分公司对各技术部门的资料管理情况组织调研,深入了解各部门对文档管理及存储方面的要求,本着以重实用、轻投入的原则,利用开源系统Seafile社区版,推动完成了宝应分公司文件智能化云管理系统的建设工作。

2系统介绍

2.1总体介绍

为了充分利用现有服务器资源,提高硬件性能,服务器采用Linux操作系统为基础平台,结合目前流行的Docker容器虚拟化技术构建云服务,为今后云资料服务大规模应用提供扩展空间,且可平滑过渡至高并发集群。目前,该系统包含一个Web界面和两种桌面客户端,可以管理、共享、同步、挂载文件,同时还能适用于Android和iOS的移动客户端,方便移动场景下快速调取、查阅资料。该系统部署在公司内部网络中,各部门用户可以通过办公电脑访问该系统,通过浏览器输入系统地址即可使用。该资料存储系统主要提供文件分发与汇总、多人在线编辑、大文件传输、断点续传、部门管理、层级权限设置、外链共享文件、消息推送、日志查询等服务,为公司解决了文件的无限存储、共享、协助以及便携移动办公等问题,大幅提高了公司的办公效率。图1是资料管理系统的网络拓扑图。应用层部署应用服务器和数据库服务器,通过分布式文件系统实现数据的多份存储,实现了高可用和高性能。技术资料管理系统除了免安装的Web浏览器的快速访问,还提供了PC电脑客户端和手机客户端的软件。其中,手机客户端比较简单,主界面主要展示个人资料库和共享资料库,还有个人标识的星标文件。

2.2系统功能

(1)管理系统采用资料库来组织文件,每个资料库都可以独立同步和共享给他人或群组(群组可以是部门或公司范围),也可以在本地客户端创建后加密上传至服务器,保证了资料库管理的灵活性、安全性。(2)在协作管理上,采用文件活动信息流,可以及时查看他人修改的文件的信息。另外,还提供了群组内讨论、文件评论、消息提醒等互动功能。(3)提供桌面客户端,功能更加丰富,同步文件更加方便,可在无人为干预下实现本地电脑文件与服务器文件的同步(需要提前设置)。同时,客户端集成了协作功能,能够及时了解更新信息。(4)文件系统具有可扩展性、高可靠性。整个系统包含很多资料库,每个资料库都是一个独立的文件系统,可以独立管理每个资料库。采用LogStructured文件系统设计,资料库记录了完整的版本信息,损坏后可以恢复到最后一次可用版本,且资料库的存储之间互相隔离,损坏只局限在一个资料库中。(5)文件处理高效。文件系统做过数据去重处理,资料库内相同文件只保存一份,文件多版本之间只保存增量部分。针对删除的文件,具有垃圾回收机制,删除文件后会保留一段时间,系统自动定期清除过期的删除文件,避免日常文件的误操作。(6)支持集群架构。系统服务器是无状态的,可支持横向扩展。通过S3、Swift、Ceph来保证存储的可靠性和扩展性;通过MariaDBGaleraCluster来保证数据库的可靠性。具体结构如图2所示。(7)支持高并发。3000个客户端同时在线时,服务器CPU(单核)占用仅40%,数据查询可以通过缓存数据库查询,大大降低了开销。测试100个客户端同时下载相同资料库,服务器无明显负载增加。(8)管理账号权限切换。通过系统管理员账号、密码进入系统,首先进入的是普通文件管理界面,无法进行用户、群组权限操作,需要切换至系统管理界面。(9)文件秒传。运用多线程、HTTP通信实现了上传文件时自动检测云端是否有相同文件。(10)用户分组。可以将所有用户按公司、部门、项目分组,个人存储的资料可以按要求进行部门或公司间的共享查看。(11)资料外链。系统内部账号可将资料库共享连接,提供给网内非系统内账户查看;网内用户通过电脑、手机、平板等终端点击共享连接即可实时查阅资料库信息。系统可以外链进行密码权限设置。外链也可以共享上传资料,供非系统内人员临时上传文件使用。

2.3操作简介

技术资料管理系统通过“资料库”来分类管理文件,每个资料库可单独同步,用户可加密资料库,且密码不会保存在服务器端,所以即使是服务器管理员也无权访问用户的文件。系统允许用户创建“群组”,在群组内共享和同步文件,方便团队协同工作。系统桌面、移动客户端均遵循GPLv3,Web端遵循ApacheLicense。系统目前支持Windows、MAC、Linux、iOS、Android平台。本系统完全私有部署,在保证性能的同时,支持海量终端并发同步,支持同步数据协作管理,支持任意文件格式历史版本管理,支持快群模式文件共享协作。本系统大幅度降低了日常维护成本和硬件成本,如系统、软件安装、数据备份等。通过个人账号从Web浏览器进入系统,默认在“我的资料库”页面可以展示该账号创建的所有资料库,资料库以文件夹的形式展现。创建的资料库必须共享后,其他账号才能查看和修改。文件夹后面的图标可以对该资料库进行共享、删除、重命名、转让或外链管理等设置;新建资料库可以对资料库进行加密设置;“更多”选项中可以查看已删除的资料库信息,默认已删除资料库30天后自动清除,30天内可以恢复删除的资料库。群组共享。各账号共享到群组的资料库在此进行管理。可通过群组进行分类管理,进入某一群组与“我的资料库”界面操作类似,可以在该群组中直接创建文件夹。共享链接。点击资料库共享链接可直接弹出共享操作界面。主要通过以下4种共享形式对该资料库进行共享操作。(1)下载链接。生成一个URL链接地址,可以通过微信、QQ或文件等形式将资料库共享给网内所有用户,只要网络联通,任何终端都可访问,但只能下载、浏览,不能上传文件。安全方面可以通过增加密码或自动过期形式进行保护。(2)上传链接。可以将该资料库共享为上传链接地址,网内用户任何终端都可以上传文件,安全方面同共享链接一样。(3)共享给用户。将资料库共享给系统内用户(必须是系统内创建的账号),通过搜索查找用户,进行共享。(4)共享给群组。将资料库共享给系统内群组(必须是系统内创建的群组),该群组内的所有用户均可访问该资料库。进入对应资料库即可进行文件上传、浏览等操作,详细功能如图3所示。

3结语

随着云技术的发展,网盘的发展速度越来越快,越来越多的公司选择用网盘处理工作中的大量文件,以满足团队协同工作的需要。经过这几年的发展,可以看出,国内网盘的未来趋势为小容量、付费,所以,建立企业私有云盘势在必行。而自建的系统首要考虑的因素是安全。宝应分公司自建系统的客户端和服务器间采用通信加密技术,技术资料管理系统在服务器配置了HTTPS后,客户端会自动使用HTTPS协议和服务器通信。也就是说,当你创建一个加密资料库,你将为其提供一个密码,所有资料库中的数据在上传到服务器之前都将用密码进行加密。另外,基于开源项目开发的云资源管理系统投入成本低,对经费紧张又有相关需求的基层单位具有较强的吸引力。技术资料管理系统建成后,宝应分公司就组织编写了系统的操作手册,分发到各部门需要使用的人员手里进行学习。目前,该资料存储系统各功能正常,使用方便,提高了公司员工的办公效率。尤其是资料存储和共享功能得到公司员工的认可和赞许,为公司统一资料管理,完善公司管理工作做出了贡献。

作者:周友良 姜树军 蔡伟 单位:江苏有线网络发展有限责任公司宝应分公司