面向搜索引擎的分布式文件系统性能分析

doi:10.3969/j.issn.1000-565X.2011.04.002

华南理工大学学报（自然科学版） ›› 2011, Vol. 39 ›› Issue (4): 7-14.doi: 10.3969/j.issn.1000-565X.2011.04.002

面向搜索引擎的分布式文件系统性能分析

董守斌赵铁柱

华南理工大学广东省计算机网络重点实验室，广东广州 510640

收稿日期:2011-01-08 出版日期:2011-04-25 发布日期:2011-03-01
通信作者: 董守斌(1967-) ，女，教授，博士生导师，主要从事高性能计算、信息检索、下一代互联网等的研究． E-mail:sbdong@scut.edu.cn
作者简介:董守斌(1967-) ，女，教授，博士生导师，主要从事高性能计算、信息检索、下一代互联网等的研究．
基金资助:
国家自然科学基金资助项目( 61070092) ; 国家发改委CNGI 项目( CNGI2008-109 /122)

Performance Analysis of Distributed File System for Search Engine

Dong Shou-bin Zhao Tie-zhu

Guangdong Key Laboratory of Computer Network,South China University of Technology,Guangzhou 510640,Guangdong,China

Received:2011-01-08 Online:2011-04-25 Published:2011-03-01
Contact: 董守斌(1967-) ，女，教授，博士生导师，主要从事高性能计算、信息检索、下一代互联网等的研究． E-mail:sbdong@scut.edu.cn
About author:董守斌(1967-) ，女，教授，博士生导师，主要从事高性能计算、信息检索、下一代互联网等的研究．
Supported by:
国家自然科学基金资助项目( 61070092) ; 国家发改委CNGI 项目( CNGI2008-109 /122)

摘要/Abstract

摘要： 搜索引擎是一种数据密集型应用，其性能极大依赖于底层文件系统的性能．文中主要讨论分布式文件系统在搜索引擎应用环境下的性能评估和性能优化问题．首先概述了分布式文件系统的性能影响因素及相关研究进展; 在此基础上提出基于Hadoop 的开放架构，系统地评估HDFS 和Lustre 在搜索引擎应用场景下的性能; 最后针对实验评估发现的HDFS 在写性能及小文件数据处理方面的不足，提出改进方案，为搜索引擎的分布式文件系统优化提供参考．

关键词: 搜索引擎, 分布式文件系统, HDFS 文件系统, Lustre 文件系统, 性能分析, 性能优化

Abstract:

As a search engine is a kind of data-intensive application,its performance is greatly affected by the underlying distributed file system. This paper deals with the performance evaluation and optimization of the distributed file system oriented to search engine application. In the investigation,first,the factors affecting the performance of distributed file system and the relevant research progress are summarized. Then,an open architecture based on Hadoop is designed to systematically evaluate the performance of HDFS and Lustre in search engine scenarios. Finally,several improved schemes are proposed to overcome the shortcomings of HDFS in terms of write performance and small file disposition clarified by the results of performance assessment,which provides a reference for the optimization of distributed file system.

Key words: search engine, distributed file system, HDFS file system, Lustre file system, performance analysis, performance optimization

董守斌赵铁柱. 面向搜索引擎的分布式文件系统性能分析[J]. 华南理工大学学报（自然科学版）, 2011, 39(4): 7-14.

Dong Shou-bin Zhao Tie-zhu. Performance Analysis of Distributed File System for Search Engine[J]. Journal of South China University of Technology (Natural Science Edition), 2011, 39(4): 7-14.

[1]	张勤吴锐奇青山尚之. 转印式pL 级液体分配方法的性能分析与实验[J]. 华南理工大学学报（自然科学版）, 2017, 45(5): 9-15.
[2]	罗永刚陈兴蜀杨露. 基于内存优化配置的MapReduce 性能调优[J]. 华南理工大学学报（自然科学版）, 2017, 45(1): 102-111.
[3]	陈吉荣乐嘉锦. SingleMapReduce:单一输出 HDFS 文件的 MapReduce编程模型[J]. 华南理工大学学报（自然科学版）, 2014, 42(5): 135-142.
[4]	魏德敏陈贵涛. 自适应子群体米母算法及其在混凝土框架位移性能优化中的应用[J]. 华南理工大学学报（自然科学版）, 2013, 41(10): 108-116.
[5]	李志杰方旭明. MIMO-WLAN 的帧聚合优化方案[J]. 华南理工大学学报（自然科学版）, 2011, 39(7): 56-62,69.
[6]	何靖袁文清闫宏飞. 基于用户浏览时间的点击模型[J]. 华南理工大学学报（自然科学版）, 2011, 39(4): 26-31,37.
[7]	李晓明单栋栋. 基于文档重要度的静态索引剪枝方法[J]. 华南理工大学学报（自然科学版）, 2011, 39(4): 1-6.
[8]	谢红刚肖进胜易本顺. 基于排队网络的IEEE 802.11 DCF非饱和性能[J]. 华南理工大学学报（自然科学版）, 2010, 38(10): 57-60,67.
[9]	李红梅丁振国周水生周利华. 基于概念分组的Web搜索结果聚类算法[J]. 华南理工大学学报（自然科学版）, 2009, 37(1): 130-134.
[10]	郭立力赵春江 . 高效FTP搜索引擎的设计与实现[J]. 华南理工大学学报（自然科学版）, 2009, 37(1): 135-139.
[11]	王继民彭波孟涛. 利用支持向量回归确定相关Web查询[J]. 华南理工大学学报（自然科学版）, 2006, 34(6): 74-78,94.
[12]	王继民陈翀彭波. 大规模中文搜索引擎的用户日志分析[J]. 华南理工大学学报（自然科学版）, 2004, 32(S1): 1-5.

面向搜索引擎的分布式文件系统性能分析

Performance Analysis of Distributed File System for Search Engine

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 12

编辑推荐

Metrics

本文评价