手机知网 App
24小时专家级知识服务
打 开
手机知网|搜索

数字图书馆中海量数据存储组织的研究与实现

沈春辉

  多媒体资源的海量增长,使得数据的高效存储和组织成为数字图书馆分布式服务体系中的重要应用之一。本文针对数字图书馆中海量数据的自身特点和用户的访问习惯,致力于研究和实现一种适用于大规模数据集的数据存储组织机制,满足数字图书馆中海量异构数据的分布式并发需求。 本文的主要工作如下: 一、利用CADAL中海量资源特点和用户阅读日志,研究分布式文件系统的副本技术,提出了一种支持高效副本维护的数字图书馆分布式体系架构,满足高性能、高可靠、高可用、可扩展的数字图书馆服务需求。 二、提出结合局部索引和全局索引的分布式混合索引机制以及并发式统一查询技术,构建了一种基于文件系统的,可插拔的,统一查询的分布式信息检索架构,支持数字图书馆中海量数据的高效、精准、灵活、可靠搜索。 三、基于文件的相关性聚类,提出了一种海量小文件的集成策略,其基本思想是数据合并和索引构建,相比于直接存储,改进了数据的存储和访问性能,提高了系统的IO速率。……   
[关键词]:数字图书馆;海量数据;分布式存储;分布式信息检索;小文件
[文献类型]:硕士论文
[文献出处]:浙江大学2011年