随着计算机硬件和软件的高速发展,我们在工作生活中接触到的数据类型日渐丰富,如文件、纪录片、短视频、图片等,这些数据的存储需求也是与日俱增,高效地存储并访问短视频以及聊天软件中的图片、小视频等数据是目前存储需要解决的问题。现有的对象存储系统,大多是被用来存储非结构化类型的数据,在实际的业务交互中,大部分的操作都需要访问元数据管理服务器,元数据的处理速度在一定程度上影响着整个系统的效率。由于非结构化数据一般尺寸较小,实际存储中访问的频率比较高,本文为了实现对该类型数据的高效存储和访问,针对海量分布式小对象的元数据管理展开相关工作。论文中具体的研究内容如下:1.高可用的元数据管理架构。采用分布式集群来实现对元数据的管理,通过Raft协议来同步各元数据节点之间的状态从而实现数据的一致性。通过Raft协议在节点之间选出leader,由leader来完成集群内的相关工作,其他各元数据管理节点作为备机,当有节点出现异常时,系统仍能对外正常服务。2.依据节点负载动态调整系统,从而实现节点之间资源的均衡。由元数据管理服务器管理哈希槽和服务节点之间的映射关系,依据不同服务节点的内存大小来为每个节点分配一定范围的槽,将服务节点均匀地映射到这些槽位上。当用户发起数据操作请求,元数据管理模块会根据请求数据文件的hash值来选择对应槽位所属数据节点,由该数据节点来完成后续任务。3.针对海量的小对象元数据访问,为了减少元数据集群Leader访问底层对象存储的网络开销,在集群内设有缓存,基于LRU算法提高对热点数据的读取效率。4.采用多副本和纠删码两种数据冗余恢复技术,由用户的请求任务数量来选择对应的容错方式,从而保证数据不受损坏,保障整个系统的可靠性。通过上述工作,本文完成了元数据管理的设计及开发工作,并从整个系统的功能和性能展开实验与分析,实验的结果验证了该系统的高可靠性和高可用性,表明本文提出方案的可行性。