论文部分内容阅读
随着在信息化建设过程中企业对文件数据越来越重视,使用传统的便携式存储设备存储数据在易用性、安全性、成本控制等方面都有明显的不足,网盘的出现解决了这些问题。越来越多的用户把个人文数据存储到网盘中,网盘存储成了一种新的文件存储方式,为用户带来了极大的便利。对于企业用户来说,所存的文件数据可能涉及企业的商业机密等重要信息,而市场上的各类网盘透明度太高,安全事件频发,文件的安全性需要由用户自己负责;同时市面上网盘的传输性能在企业内部环境也不能达到高效的要求;网盘服务存储集群的容灾能力也不可控,对于用户来说文件存储完全透明,一旦服务提供商不再提供存储服务或者存储集群出现不可修复故障的情况,用户存储的文件面临极大的风险。本文基于AES加密算法、MD5散列算法以及微服务等技术实现了基于Ceph的分布式网盘系统。本文的主要工作如下:(1)分析企业用户对于网盘系统的功能需求和性能需求。根据功能需求梳理出网盘系统的功能模块,分别有存储模块、文件模块、群组/监控模块、通知模块和备份模块。根据需求,制定出系统的测试方案,主要包括各项功能测试以及性能测试,性能测试的指标包括系统响应时间、文件上传下载速率和集群的文件读写速度。(2)设计基于Ceph的分布式网盘系统。从系统的整体架构设计到各个模块中具体功能的设计。在文件模块中,优化了文件的存储结构,提高文件存储的效率。针对不同的文件大小采取不同的文件上传策略,提高文件上传的性能。在安全方面对文件使用非对称加密算法对文件加密,保证文件数据存储的安全性。在团队管理和监控模块中,在基于角色权限的模型上引入对单文件的权限控制,更精细的管理用户的权限。在备份模块中,为了应对系统级故障和灾难,采用增量传输的策略跨机房备份文件。在通知模块中,设计了钉钉通知和邮件通知的功能,满足系统通知功能的及时性要求。(3)实现并测试了分布式网盘系统。根据各个模块的设计实现各项功能,并对网盘系统进行功能测试和性能测试,给出各项测试的结果。本文设计与实现的基于Ceph的分布式网盘系统已经在企业内部上线使用,目前满足了用户对于企业网盘的功能需求和性能需求,在企业网络环境下的实际应用效果高于市场上的其他网盘。