基于动态带宽分配的Hadoop 数据负载均衡方法

华南理工大学学报(自然科学版) ›› 2012, Vol. 40 ›› Issue (9): 42-47.

基于动态带宽分配的Hadoop 数据负载均衡方法

林伟伟¹刘波²

1．华南理工大学计算机科学与工程学院，广东广州 510006; 2．华南师范大学计算机学院，广东广州 510631

收稿日期:2012-01-05 修回日期:2012-07-17 出版日期:2012-09-25 发布日期:2012-08-01
通信作者: 林伟伟(1980-) ，男，博士，副教授，主要从事分布式计算、云计算、移动互联网研究． E-mail:linww@scut.edu.cn
作者简介:林伟伟(1980-) ，男，博士，副教授，主要从事分布式计算、云计算、移动互联网研究．
基金资助:
广东省自然科学基金资助项目( 10451064101005155，S2011010001754) ; 广东省科技计划项目( 2012B010100030) ;广东省战略性新兴产业核心技术攻关项目( 2011A010801002) ; 广州市海珠区科技计划项目( x2jsB2120750)

Hadoop Data Load Balancing Method Based on Dynamic Bandwidth Allocation

Lin Wei-wei¹Liu Bo²

1. School of Computer Science and Engineering,South China University of Technology,Guangzhou 510006,Guangdong,China; 2. School of Computer Science,South China Normal University,Guangzhou 510631,Guangdong,China

Received:2012-01-05 Revised:2012-07-17 Online:2012-09-25 Published:2012-08-01
Contact: 林伟伟(1980-) ，男，博士，副教授，主要从事分布式计算、云计算、移动互联网研究． E-mail:linww@scut.edu.cn
About author:林伟伟(1980-) ，男，博士，副教授，主要从事分布式计算、云计算、移动互联网研究．
Supported by:
广东省自然科学基金资助项目( 10451064101005155，S2011010001754) ; 广东省科技计划项目( 2012B010100030) ;广东省战略性新兴产业核心技术攻关项目( 2011A010801002) ; 广州市海珠区科技计划项目( x2jsB2120750)

摘要/Abstract

摘要： 数据负载均衡对Hadoop 分布式文件系统( HDFS) 性能有着重要的影响，针对HDFS 中默认的数据负载均衡方法存在的效率低和缺乏灵活性的不足，文中提出了一种新的动态负载均衡方法，即通过控制变量来动态分配网络带宽以达到数据负载均衡．在此基础上建立了基于控制变量的数据负载均衡数学模型．实验结果表明，文中提出的方法既能保证HDFS 的数据访问性能，又能提高集群加入新节点时的数据负载均衡效率．

关键词: Hadoop, 负载均衡, 带宽

Abstract:

Data load balancing greatly affects the performance of the Hadoop distributed file system ( HDFS). In order to overcome the inefficiency and inflexibility of the default data load balancing method in HDFS,this paper devises a novel dynamic load balancing method,which dynamically allocates network bandwidth to achieve the data load balancing by controlling variables. Then,the corresponding mathematical model is constructed based on the controlled variables. Experimental results show that the devised method can not only guarantee the performance of the HDFS data access system but also improve the data load balancing efficiency in the presence of a new cluster node.

Key words: Hadoop, load balancing, bandwidth

林伟伟刘波. 基于动态带宽分配的Hadoop 数据负载均衡方法[J]. 华南理工大学学报(自然科学版), 2012, 40(9): 42-47.

Lin Wei-wei Liu Bo. Hadoop Data Load Balancing Method Based on Dynamic Bandwidth Allocation[J]. Journal of South China University of Technology(Natural Science Edition), 2012, 40(9): 42-47.

[1]	陆以勤, 黄成海, 陈嘉睿, 等. 基于遗传算法的时间敏感网络调度方法[J]. 华南理工大学学报(自然科学版), 2024, 52(2): 1-12.
[2]	陈锋, 毛豪滨, 蔡吉玲, 等. 面向低延时实时视频的多维跨层带宽预测[J]. 华南理工大学学报(自然科学版), 2023, 51(11): 18-27.
[3]	陆以勤, 熊欣, 王猛, 等. TSN中基于链路负载均衡的AVB流量带宽分配方法[J]. 华南理工大学学报(自然科学版), 2023, 51(11): 1-9.
[4]	温惠英, 元昱青, 林译峰. 考虑道路负载均衡的码头多AGV无冲突路径规划[J]. 华南理工大学学报(自然科学版), 2023, 51(10): 1-10.
[5]	杨俊美雷杨陈习坤. 基于Flatten-CNN的语音带宽扩展研究[J]. 华南理工大学学报（自然科学版）, 2021, 49(11): 87-94.
[6]	洪晓斌子文江余蓉罗宗强何振威. 大型钢结构无损云检测的可信度融合评估[J]. 华南理工大学学报（自然科学版）, 2019, 47(3): 70-77.
[7]	林伟伟王泽涛. 基于遗传算法的 Docker 集群调度策略 [J]. 华南理工大学学报（自然科学版）, 2018, 46(3): 127-133.
[8]	汤峰张平李方黄致祥. 基于 PI 反馈的分布式控制系统动态负载均衡算法[J]. 华南理工大学学报（自然科学版）, 2015, 43(9): 81-87.
[9]	卢凯杨兴吴焕徐建闽. 绿波协调控制方案的速度区间适应性分析与评价[J]. 华南理工大学学报（自然科学版）, 2014, 42(5): 60-66,83.
[10]	陈吉荣乐嘉锦. SingleMapReduce:单一输出 HDFS 文件的 MapReduce编程模型[J]. 华南理工大学学报（自然科学版）, 2014, 42(5): 135-142.
[11]	龙赛琴赵跃龙谢晓玲陈伟曾文英. 面向大规模存储系统的一种静态文件布局策略[J]. 华南理工大学学报（自然科学版）, 2013, 41(1): 70-76.
[12]	唐琳姜胜明杨花荣. 基于区分队列服务的多媒体传感器网络QoS 研究[J]. 华南理工大学学报(自然科学版), 2012, 40(8): 8-13.
[13]	陈立明郭庆杨明川. 多业务LEO 卫星网络中基于概率的带宽预留策略[J]. 华南理工大学学报(自然科学版), 2012, 40(6): 84-89,96.
[14]	林伟伟. 一种改进的Hadoop 数据放置策略[J]. 华南理工大学学报(自然科学版), 2012, 40(1): 152-158.
[15]	黄书强周继鹏. 基于聚类的无线Mesh网关选择及AP分组算法[J]. 华南理工大学学报（自然科学版）, 2011, 39(4): 38-43.