论文部分内容阅读
有研究[1]表明,全球数据存储量每18个月将在原有的基础上增加1倍。同时,IDC[2]指出75%的增长来自固定内容数据。所谓固定内容数据是创建之后不再改变的数据,如办公office文档、E-mail、电视新闻、医疗图片等。固定内容是非结构化的数据,占据着企业总数据量的85%[3]。企业的固定内容数量随时间增长到数以万计,在传统的文件系统存储中要找到需要的内容非常困难,而且其中部分内容甚至无法理解[4]。因此,企业面临着存储和管理这些数据的巨大挑战。
近年来,数据存储技术尤其是网络存储技术得到了迅速的发展。以数据块为接口的存储技术,如DAS、SAN,在数据存储时能够直接访问存储设备,存储效率极高。而以文件为接口的存储技术,如’NAS,对文件共享和利用提供了有效机制。但是,无论是直连存储(DAS)、附网存储(NAS)和存储区域网络(SAN),还是新的基于IP的SAN、SAN与NAS结合的统一存储[5],都不适合于非结构化数据的存储。对象存储[6]提出了一种新的存储接口——对象接口。对象存储体系结构同时具有块接口和文件接口存储系统两者的优点,对数据的存储,它能让数据以数据块的方式直接访问存储硬件介质,具有很高的存储效率,同时对于数据的管理,通过封装在对象里的其他属性让数据像文件一样在不同的平台之间共享和管理。在对象存储中,内容寻址存储(Content Addressed Storage)是一种已成功应用于固定内容存储的范例。CAS提供了一种全新的高效的信息管理手段,可以极大地降低应用软件操纵和管理存储介质上所存储信息的物理地址的难度,这对于固定内容的存储具有不可替代的优势。目前CAS已经成为内容管理和存储研究中的一个焦点[7,8,9,10]。
本文对CAS技术进行了详细的分析,分析了内容寻址存储的思想,实现了一种针对固定内容存储的原型系统(FCSS)。FCSS提供了基于对象内容的存储高速索引、磁盘空间分配方案和快速存取接口:基于红黑树实现内容(Hash)与数据(文件)物理位置映射功能,磁盘分配模块实现对象存储空间,API函数为应用提供存储接口;并提出了对存储资源、文件、用户等相应的资源描述方法,能够方便的实现了存储与应用数据的高效交换;对于上层的存储管理,也实现了一些存储管理的接口,可以帮助企业快速实现固定内容存储与管理战略。FCSS实现了基于内容存储与管理的有机结合,极大地提高固定内容检索和存取的效率,可为企业固定内容存储提供了一个高效的解决方案。