基于属性维划分和MapReduce 的道路运输信息系统数据聚类

doi:10.3969/j.issn.1000-565X.2014.08.019

华南理工大学学报（自然科学版） ›› 2014, Vol. 42 ›› Issue (8): 122-128,135.doi: 10.3969/j.issn.1000-565X.2014.08.019

基于属性维划分和MapReduce 的道路运输信息系统数据聚类

郑晓峰徐建闽卢凯

华南理工大学土木与交通学院，广东广州 510640

收稿日期:2014-04-15 修回日期:2014-07-15 出版日期:2014-08-25 发布日期:2014-07-01
通信作者: 郑晓峰(1977-)，男，在职博士生，广东省道路运输管理局工程师，主要从事智能交通和道路交通运输管理研究． E-mail:bobcraft@163.com
作者简介:郑晓峰(1977-)，男，在职博士生，广东省道路运输管理局工程师，主要从事智能交通和道路交通运输管理研究．
基金资助:
国家自然科学基金资助项目( 61174184) ; 广东省工业科技攻关计划项目( 2008B010200010) ; 广州市科技支撑项目( 2011J4300045)

Data Clustering of Ｒoad Transportation Information System Based on Attribute Dimension Partition and MapＲeduce

Zheng Xiao-feng Xu Jian-min Lu Kai

School of Civil Engineering and Transportation,South China University of Technology,Guangzhou 510640,Guangdong,China

Received:2014-04-15 Revised:2014-07-15 Online:2014-08-25 Published:2014-07-01
Contact: 郑晓峰(1977-)，男，在职博士生，广东省道路运输管理局工程师，主要从事智能交通和道路交通运输管理研究． E-mail:bobcraft@163.com
About author:郑晓峰(1977-)，男，在职博士生，广东省道路运输管理局工程师，主要从事智能交通和道路交通运输管理研究．
Supported by:
国家自然科学基金资助项目( 61174184) ; 广东省工业科技攻关计划项目( 2008B010200010) ; 广州市科技支撑项目( 2011J4300045)

摘要/Abstract

摘要： 针对基于密度的带有噪声空间聚类分析( DBSCAN) 的不足，融合了领域知识和划分思想，提出了属性维划分的概念，并论证了基于局部簇合并与核心点计算的剪枝原理，最后结合云计算编程模式MapReduce 的特点，给出了DBSCAN 的优化方法，并在实际道路运输信息系统数据的聚类分析中得到应用验证．实践证明划分后的数据集易于实现并行聚类数据挖掘，文中优化方法优于一般的统计分析方法．

关键词: 道路运输, DBSCAN, 属性维, 划分, MapReduce, 聚类

Abstract:

Aiming at the shortcomings of DBSCAN ( Density-Based Spatial Clustering of Applications with Noise) ,this paper presents the concept of the attribute dimension partition by integrating the domain knowledge with thepartition idea.Then,the principles of the cluster merging and the pruning computation are demonstrated.Finally,an optimization method of DBSCAN is put forward based on the cloud computing programming model MapReduce,and the optimization method is verified through the data clustering of a real road transport information system.It isfound that the dataset partition helps to perform the concurrent computation,and the proposed optimization methodis superior to common statistical methods.

Key words: road transportation, DBSCAN, attribute dimension, partition, MapReduce, clustering

中图分类号:

U495

郑晓峰徐建闽卢凯. 基于属性维划分和MapReduce 的道路运输信息系统数据聚类[J]. 华南理工大学学报（自然科学版）, 2014, 42(8): 122-128,135.

Zheng Xiao-feng Xu Jian-min Lu Kai. Data Clustering of Ｒoad Transportation Information System Based on Attribute Dimension Partition and MapＲeduce[J]. Journal of South China University of Technology (Natural Science Edition), 2014, 42(8): 122-128,135.

[1]	刘怡俊, 王嘉达, 钟仕杰, 等. 基于统一标签矩阵的快速多视图聚类[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 110-119.
[2]	王学武, 方俊宇, 高进, 等. 基于改善解集分布性的多目标优化[J]. 华南理工大学学报(自然科学版), 2023, 51(8): 137-148.
[3]	林培群, 龚敏平, 周楚昊. 面向运输风险识别的高速公路货车用户画像方法[J]. 华南理工大学学报(自然科学版), 2023, 51(6): 1-9.
[4]	于斌, 张钰钦, 王羽尘, 等. 基于车载激光点云的道路几何信息自动化提取[J]. 华南理工大学学报(自然科学版), 2023, 51(2): 88-99.
[5]	周璇, 王馨瑶, 闫军威, 等. 基于机器学习的建筑复杂用能系统运行状态异常检测[J]. 华南理工大学学报(自然科学版), 2022, 50(7): 144-154.
[6]	陈廷照, 陈艳艳, 王子理, 等. “轨道交通微中心”理念下的慢行影响区范围确定方法[J]. 华南理工大学学报(自然科学版), 2022, 50(7): 56-65.
[7]	兰凤崇, 张越, 陈吉清, 等. 人车碰撞事故中行人伤亡风险的关联性分析与预测 [J]. 华南理工大学学报(自然科学版), 2022, 50(5): 1-10.
[8]	刘小兰, 石宗宇, 叶泽慧, 等. 基于锚点图的低秩缺失多视图子空间聚类[J]. 华南理工大学学报(自然科学版), 2022, 50(12): 60-70.
[9]	张文东, 石刚, 田生伟, 等. 基于社会关系的群智感知任务分发机制[J]. 华南理工大学学报（自然科学版）, 2021, 49(6): 49-55.
[10]	陈吉清, 舒孝雄, 兰凤崇, 等. 典型危险事故特征的自动驾驶测试场景构建[J]. 华南理工大学学报（自然科学版）, 2021, 49(5): 1-8.
[11]	梁京章, 黄星舒, 吴丽娟, 等. 基于 KPCA 和改进 K- means 的电力负荷曲线聚类方法[J]. 华南理工大学学报（自然科学版）, 2020, 48(6): 143-150.
[12]	李智, 陈业航, 冯宝, 等. 基于活动轮廓模型的脑梗死图像分割[J]. 华南理工大学学报（自然科学版）, 2020, 48(5): 102-111,124.
[13]	刘小兰叶泽慧. 基于 StarGAN 和子空间学习的缺失多视图聚类[J]. 华南理工大学学报（自然科学版）, 2020, 48(11): 87-98.
[14]	郑思凡, 王卫星, 何占华, 等. 双粒度光流流形学习的刮刷总成摆杆摆幅检测[J]. 华南理工大学学报（自然科学版）, 2020, 48(1): 123-132.
[15]	刘小兰潘凎易淼李植鹏. 分布式低秩张量子空间聚类算法[J]. 华南理工大学学报（自然科学版）, 2019, 47(8): 77-83,95.

基于属性维划分和MapReduce 的道路运输信息系统数据聚类

Data Clustering of Ｒoad Transportation Information System Based on Attribute Dimension Partition and MapＲeduce

PDF

可视化

被引次数

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics

本文评价