手机知网 App
24小时专家级知识服务
打 开
手机知网|搜索

分布式数据库集群系统ZD-DDB的设计与实现

马明理

  随着互联网迅速发展,对互联网海量数据的存储和检索成为搜索引擎等诸多网络应用系统的首要负载。当网络数据量、查询量急聚增加时容易导致后台数据库服务器负载过大而成为整体性能的瓶颈。而现有的数据库集群系统很难满足海量数据存储和检索的性能要求,同时也需要付出昂贵的软件成本。本文设计实现的分布式数据库集群系统ZD-DDB采用中间件的形式向应用屏蔽负载均衡、数据分区、分布式查询、分布式事务、数据迁移等细节,并提供一个统一的编程接口。该系统通过管理服务器和分布式数据库中间件来实现分布式数据库所具有的功能。管理服务器负责管理分布式数据库的全局信息,实施数据迁移和负载均衡,管理维护后台数据库节点和应用层服务器,提供对分布式存储、分布式事务、分布式查询等功能的全局支持。分布式数据库中间件包括负载均衡管理器、查询执行器、事务管理器,分别提供对负载均衡、分布式查询、分布式事务的支持。分布式存储采用了水平分区的方式来存储和定位元组,并通过均衡策略、存储映射表、数据迁移实现负载均衡,其中数据迁移支持在线迁移。分布式查询包括语法分析、计划生成、执行计划,其中语法分析得到语法分析树,查询计划将全局分布式查询语句解析成各节点可执行的子查询语句,计划执行器处理所有节点子查询返回的结果汇总后得到正确的全局查询结果。分布式事务处理支持两阶段提交协议,实现了XA协议,对事务处理过程中的故障和异常提供了容错机制,日志管理器支持分布式事务恢复。ZD-DB集群系统为海量数据提供了良好的存储和检索性能,系统各部分性能均衡,不存在明显的性能瓶颈。具有较好的可扩展性,能够方便地进行存储和计算能力的扩展,为大型网络应用提供了较好的底层支持。……