一种改进的Hadoop 数据放置策略

华南理工大学学报(自然科学版) ›› 2012, Vol. 40 ›› Issue (1): 152-158.

一种改进的Hadoop 数据放置策略

林伟伟

华南理工大学计算机科学与工程学院，广东广州 510006

收稿日期:2011-06-23 修回日期:2011-10-11 出版日期:2012-01-25 发布日期:2011-12-01
通信作者: 林伟伟(1980-) ，男，博士，讲师，主要从事分布式系统研究． E-mail:linww@scut.edu.cn
作者简介:林伟伟(1980-) ，男，博士，讲师，主要从事分布式系统研究．
基金资助:
国家自然科学基金资助项目( 61070015) ; 广东省自然科学基金资助项目( 10451064101005155，S2011010001754，9451063101002213) ; 广东省科技计划项目( 2010B010600032)

An Improved Data Placement Strategy for Hadoop

Lin Wei-wei

School of Computer Engineering and Science,South China University of Technology,Guangzhou 510006,Guangdong,China

Received:2011-06-23 Revised:2011-10-11 Online:2012-01-25 Published:2011-12-01
Contact: 林伟伟(1980-) ，男，博士，讲师，主要从事分布式系统研究． E-mail:linww@scut.edu.cn
About author:林伟伟(1980-) ，男，博士，讲师，主要从事分布式系统研究．
Supported by:
国家自然科学基金资助项目( 61070015) ; 广东省自然科学基金资助项目( 10451064101005155，S2011010001754，9451063101002213) ; 广东省科技计划项目( 2010B010600032)

摘要/Abstract

摘要： 采用现有的Hadoop 默认数据放置策略时，若本地数据副本失效，从远程结点上恢复数据需要耗费大量数据传输时间，且随机选取数据放置结点可能会影响数据放置的负载均衡．为此，文中提出一种改进的数据放置策略．该策略基于结点网络距离与数据负载计算每个结点的调度评价值，据此选择一个最佳的远程数据副本的放置结点，从而既能实现数据放置的负载均衡，又能实现良好的数据传输性能．在Hadoop 平台上实现了所提出的数据副本放置改进策略，结果表明，与系统默认策略相比，文中提出的策略不仅可以改进数据放置的负载均衡，而且可以减少数据副本放置的时间．

关键词: Hadoop, 数据放置, 负载均衡, 策略

Abstract:

In the existing default data placement strategy for Hadoop,much time is needed to restore data from a remote DataNode when the local replicas become unavailable,and the load balancing may be destroyed due to the random selection of DataNode for data storage. In order to solve these problems,an improved data placement strategy is proposed,which chooses the most appropriate DataNode to place remote replicas according to the scheduling evaluation value of each DataNode based on DataNodes' network distance and data load. Thus,the load balancing for data storage is implemented and excellent data transmission is achieved. The proposed data placement strategy is then implemented in the Hadoop platform and the results show that the proposed strategy is superior to the existing default data placement strategy because it improves the local balancing for data storage and reduces the time for data placement.

Key words: Hadoop, data placement, load balancing, strategy

中图分类号:

TP393

林伟伟. 一种改进的Hadoop 数据放置策略[J]. 华南理工大学学报(自然科学版), 2012, 40(1): 152-158.

Lin Wei-wei. An Improved Data Placement Strategy for Hadoop[J]. Journal of South China University of Technology(Natural Science Edition), 2012, 40(1): 152-158.

[1]	彭子烜, 崔林, 郭志伟, 等. 网约车合乘均衡匹配与激励策略[J]. 华南理工大学学报(自然科学版), 2024, 52(2): 95-103.
[2]	陆以勤, 黄成海, 陈嘉睿, 等. 基于遗传算法的时间敏感网络调度方法[J]. 华南理工大学学报(自然科学版), 2024, 52(2): 1-12.
[3]	翟敬梅, 路东伟. 按摩机器人优化示教策略及BPNN-DMPs轨迹学习模型[J]. 华南理工大学学报(自然科学版), 2023, 51(12): 1-8.
[4]	李新凯, 虎晓诚, 马萍, 等. 基于改进DDPG的无人驾驶避障跟踪控制[J]. 华南理工大学学报(自然科学版), 2023, 51(11): 44-55.
[5]	陆以勤, 熊欣, 王猛, 等. TSN中基于链路负载均衡的AVB流量带宽分配方法[J]. 华南理工大学学报(自然科学版), 2023, 51(11): 1-9.
[6]	温惠英, 元昱青, 林译峰. 考虑道路负载均衡的码头多AGV无冲突路径规划[J]. 华南理工大学学报(自然科学版), 2023, 51(10): 1-10.
[7]	许伦辉, 余佳芯, 裴明阳, 等. 基于几何路网结构和强化学习的车辆重定位策略[J]. 华南理工大学学报(自然科学版), 2023, 51(10): 99-109.
[8]	赵克刚, 何坤阳, 黎杰, 等. 基于改进动态规划法的HEV多目标能量管理策略[J]. 华南理工大学学报(自然科学版), 2022, 50(9): 138-148.
[9]	翁剑成, 王茂林, 林鹏飞, 等. 基于客流特征鉴别的公交跨线组合调度优化方法[J]. 华南理工大学学报(自然科学版), 2022, 50(9): 39-48.
[10]	夏琴香, 李凯, 马骏, 等. 基于遗传算法的模具电极调度问题求解[J]. 华南理工大学学报(自然科学版), 2022, 50(3): 80-87.
[11]	任远马智亮向星磊. 集中管理下园区设备的维护策略决策模型及算法[J]. 华南理工大学学报（自然科学版）, 2020, 48(9): 51-60.
[12]	刘雪峰郑宇蓝王家绪卢智涛. 多台冷水机组非均匀负荷匹配运行控制策略[J]. 华南理工大学学报(自然科学版), 2019, 47(9): 24-32,39.
[13]	秦大同秦岭. 基于显式随机模型预测控制的功率分流式混合动力车辆能量管理策略[J]. 华南理工大学学报(自然科学版), 2019, 47(7): 112-120.
[14]	王学武夏泽龙顾幸生. 基于 DMOEA/D-ET 算法的焊接机器人多目标路径规划[J]. 华南理工大学学报(自然科学版), 2019, 47(4): 99-106.
[15]	洪晓斌子文江余蓉罗宗强何振威. 大型钢结构无损云检测的可信度融合评估[J]. 华南理工大学学报（自然科学版）, 2019, 47(3): 70-77.