论文部分内容阅读
随着智能设备的普及和网络的高速发展,每年产生的数据量成倍增长。面对巨大的数据量,直连存储和本地存储模式已不能满足海量数据对存储空间的需求,互联网和存储服务厂商纷纷推出网盘等便捷的网络存储方式。网络存储可以充分利用网络资源扩展个人的存储空间,便于管理,可以随时随地的访问存储资源和方便快捷的分享资源。企业也更加依赖网络存储设备,存储企业推出了大型的网络存储设备和存储服务器,网络存储日益普及。可重构堆叠存储就是一种基于网络的灵活存储设计方案,可以为用户提供海量、高速的数据存储服务。本研究提出一种基于可编程逻辑和SATA硬盘的可重构堆叠存储系统。针对海量高速数据存储,设计方案采用XC7K325T-2FFG900C评估板,自定义阵列管理控制器和通道控制器。为实现数据的高速并行存储,提高数据传输速度并扩展存储空间,提出了群Group、组Set、通道Channel的元数据和数据存储空间划分模式,将存储系统的元数据存储在元数据群,而数据存储在数据群。在评估板的RAM中为元数据分配高速缓存,使用定时更新和预取预读策略,使系统访问的元数据存储在高速缓存中,可以大幅度提高元数据的访问速度。数据群由数据组和校验组构成,数据组由8条数据通道构成,校验磁盘用于存储校验计算数据所得校验值。10个相互独立的通道控制器控制SATA硬盘,数据通道连接的磁盘相同偏移位置的扇区组成超扇区SS,一个超扇区含有rpq个扇区,其中r是每个磁盘所含的扇区数,q表示通道的条数,p是每条通道连接硬盘的个数。10组GTX数据传输收发器可以连接10个Marvell接口倍增器,每个接口倍增器可以将一个SATA接口扩展为5个,在不影响接口传输速率的同时扩展存储系统容量。QorIQ通信处理器移植Linux操作系统,分析并修改、编译BootLoader和操作系统内核。通过通信处理平台上的千兆或万兆以太网接口连接网络,搭建NFS网络文件系统用于客户端消息的接收和数据传输。Linux操作系统将接收的数据封装成消息交换格式MES,MES是SATA协议的FIS帧信息格式扩展和修改的消息格式,MES信息中含有包括群、组、通道等的目的地址信息。通信处理板和阵列管理控制器通过PCI Express建立通信连接,最高可以提供20G以上的传输带宽。经测试和验证,存储系统可以提供高效、稳定的数据存储服务。