手机知网 App
24小时专家级知识服务
打 开
手机知网|搜索

基于Hadoop的海量数据处理平台研究

丁辉;张大华;罗志明

  国网公司提出了建设坚强智能电网和三集五大体系的重大举措,要求信息化在继承已有成果、深化应用的基础上,进一步全面提升,再上水平。尤其对电网海量信息数据处理、数据搜索等提出很高的要求,为了应对智能电网对海量数据处理的迫切需求,本文通过对Hadoop的HDFS和MapReduce两个核心关键技术深入分析研究的基础上,提出了在虚拟化资源管理平台上搭建基于Hadoop的动态可伸缩的海量数据处理原型平台,并给出其技术架构、实施方案以及实例分析,最后对海量数据处理平台的优势进行分析。与传统基于物理机部署的Hadoop分布式并行计算系统相比,通过虚拟化平台创建Hadoop虚拟服务器模板,不仅可以快速完成Hadoop分布式并行计算系统的部署,而且可以有效利用计算资源。……