基于采样的点云几何编码框架

doi:10.12141/j.issn.1000-565X.230188

华南理工大学学报(自然科学版) ›› 2024, Vol. 52 ›› Issue (6): 148-156.doi: 10.12141/j.issn.1000-565X.230188

• 计算机科学与技术 • 上一篇

基于采样的点云几何编码框架

刘昊¹^,²(), 元辉^1†(), 陈晨¹, 高伟³

^1.山东大学控制科学与工程学院, 山东济南 250061
^2.烟台大学计算机与控制工程学院, 山东烟台 264005
^3.北京大学深圳研究生院, 广东深圳 518055

收稿日期:2023-04-06 出版日期:2024-06-25 发布日期:2023-12-22
通信作者: 元辉（1984—），男，博士，教授，主要从事多媒体信号处理等研究。 E-mail:huiyuan@sdu.edu.cn
作者简介:刘昊（1994—），男，博士，讲师，主要从事三维点云编码和处理等研究。E-mail： liuhaoxb@gmail.com
基金资助:
国家自然科学基金资助项目(62172259);山东省自然科学基金资助项目(ZR2023QF111);香港RGC资助项目(CityU11202320);OPPO科研基金资助项目

Point Cloud Geometry Coding Framework Based on Sampling

LIU Hao¹^,²(), YUAN Hui¹(), CHEN Chen¹, GAO Wei³

^1.School of Control Science and Engineering，Shandong University，Jinan 250061，Shandong，China
^2.School of Computer and Control Engineering，Yantai University，Yantai 264005，Shandong，China
^3.Peking University Shenzhen Graduate School，Shenzhen 518055，Guangdong，China

Received:2023-04-06 Online:2024-06-25 Published:2023-12-22
Contact: 元辉（1984—），男，博士，教授，主要从事多媒体信号处理等研究。 E-mail:huiyuan@sdu.edu.cn
About author:刘昊（1994—），男，博士，讲师，主要从事三维点云编码和处理等研究。E-mail： liuhaoxb@gmail.com
Supported by:
the National Natural Science Foundation of China(62172259);the Natural Science Foundation of Shandong Province(ZR2023QF111);Hong Kong RGC Grants(CityU11202320)

摘要/Abstract

摘要：

随着科学技术的快速发展，三维点云采集设备的精度不断提升，海量三维点云数据的获取成为可能。然而，三维点云数据点分布不规则、数量巨大等特性给存储和传输带来了巨大的挑战，点云编码势在必行。针对三维点云几何信息，文中从数据采样的角度出发，将三维点云编码问题转换为三维点云采样-重建问题，并提出基于采样的三维点云几何编码框架。该框架首先在编码端使用指定采样率的三维点云下采样方法，将原始三维点云下采样至指定点数的稀疏三维点云，然后采用任意现有的编码方法对稀疏三维点云进行编码（待编码点数大幅减少，可有效降低编码码率），最后使用三维点云上采样方法将解码端获得的稀疏三维点云插值重建成与原始输入点云外形近似的高质量稠密三维点云。实验结果表明，与MPEG提出的最新G-PCC三维点云编码标准相比，在相同码率下，文中提出的三维点云几何编码框架可以使解码端重建三维点云的客观质量平均提升5.49 dB，同时呈现出更好的主观视觉效果。

关键词: 点云, 几何编码, 深度学习, 采样

Abstract:

With the development of science and technology, the accuracy of 3D point cloud acquisition equipment has been continuously improved, and the acquisition of massive 3D point cloud data has become a reality. However, the irregular distribution and huge number of data points of 3D point cloud bring great challenges to data storage and transmission. Therefore, 3D point cloud coding is imperative. From the perspective of data sampling, this paper transforms the 3D point cloud coding problem into a 3D point cloud sampling-reconstruction problem, and proposes a sampling-based 3D point cloud geometry coding framework. In this framework, firstly, the down-sampling method is used to sample the original 3D point cloud to the sparse 3D point cloud with a specified number of points. Then, the sparse 3D point cloud is encoded using any existing coding methods (the number of encoding points is significantly reduced, which can effectively reduce the encoding rate). Finally, by using the proposed upsampling method, the decoded sparse 3D point cloud is interpolated as a high-quality dense 3D point cloud similar to the shape of the original input point cloud. Experimental results show that, as compared with the latest G-PCC provided by MPEG, the proposed 3D point cloud geometry coding framework improves the objective quality of the reconstructed 3D point cloud by 5.49 dB on average, and presents better subjective visual effect.

Key words: point cloud, geometry coding, deep learning, sampling

中图分类号:

TN919

刘昊, 元辉, 陈晨, 高伟. 基于采样的点云几何编码框架[J]. 华南理工大学学报(自然科学版), 2024, 52(6): 148-156.

LIU Hao, YUAN Hui, CHEN Chen, GAO Wei. Point Cloud Geometry Coding Framework Based on Sampling[J]. Journal of South China University of Technology(Natural Science Edition), 2024, 52(6): 148-156.

图/表 10

图1

图2

图3

图4

图5

表1

图6

图7

表2

表3

参考文献 34

1	ZHANG C， CAI Q，CHOU，et al ．Viewport：a distributed，immersive teleconferencing system with infrared dot pattern［J］．IEEE Multimedia，2013，20（4）：17-27．
2	SCHNABEL R， KLEIN R ．Octree-based point-cloud compression［C］∥Proceedings of the 3rd Eurographics．Berlin：Eurographics Association，2006：12-22．
3	G-PCC codec description：ISO/IEC ［S］．
4	V-PCC codec description：ISO/IEC ［S］．
5	HUANG Y， PENG J L， KUO C-C，et al ．A generic scheme for progressive point cloud coding［J］．IEEE Transactions on Visualization and Computer Graphics，2008，14（2）：440-453．
6	RENTE P D O， BRITES C， ASCENSO J ．M，et al．Graph-based static 3d point clouds geometry coding［J］．IEEE Transactions on Multimedia，2018，21（2）：284-299．
7	张旭康，牛报宁，张锦文．向量相似度可复原三维点云压缩算法［J］．计算机科学与探索，2020，14（4）：657-668．
	ZHANG Xukang， NIU Baoning， ZHANG Jinwen ．Recoverable 3d point cloud compression algorithm based on vector similarity［J］．Journal of Frontiers of Computer Science and Technology，2020，14（4）：657-668．
8	KALAIAH A， VARSHNEY A ．Statistical geometry representation for efficient transmission and rendering［J］．ACM Transactions on Graphics，2005，24（2）：348-373．
9	SONG F， SHAO Y， GAO W，et al ．Layer-wise geometry aggregation framework for lossless lidar point cloud compression［J］．IEEE Transactions on Circuits and Systems for Video Technology，2021，31（12）：4603-4616．
10	WANG J， ZHU H， LIU H，et al ．Lossy point cloud geometry compression via end-to-end learning［J］．IEEE Transactions on Circuits and Systems for Video Technology，2021，31（12）：4909-4923．
11	MATSUZAKI K， TASAKA K，Binary representation for 3d point cloud compression based on deep auto-encoder［C］∥Proceedings of IEEE Global Conference on Consumer Electronics．Osaka：IEEE，2019：489-490．
12	HUANG L， WANG S， WONG K，et al ．OctSqueeze：octree structured entropy model for lidar compression［C］∥Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition．Seattle：IEEE，2020：1310-1320．
13	SUN X， WANG S， LIU M ．A novel coding architecture for multiline lidar point clouds based on clustering and convolutional lstm network［J］．IEEE Transactions on Intelligent Transportation Systems，2022，23（3）：2190-2201．
14	NGUYEN D T， QUACH M， VALENZISE G，et al ．Lossless coding of point cloud geometry using a deep generative model［J］．IEEE Transactions on Circuits and Systems for Video Technology，2021，31（12）：4617-4629．
15	ZHAO L， MA K-K， LIN X，et al ．Real-time lidar point cloud compression using bi-directional prediction and range-adaptive floating-point coding［J］．IEEE Transactions on Broadcasting，2022，68（3）：620-635．
16	WANG J， DING D， LI Z，et al ．Sparse tensor-based multiscale representation for point cloud geometry compression［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2023，45（7）：9055-9071．
17	WEI Z， NIU B， XIAO H，et al ．Isolated points prediction via deep neural network on point cloud lossless geometry compression［J］．IEEE Transactions on Circuits and Systems for Video Technology，2023，33（1）：407-420．
18	ELDAR Y， LINDENBAUM M ．The farthest point strategy for progressive image sampling［J］．IEEE Transactions on Image Processing，1997，6（9）：1305-1315．
19	QUEIROZ R L D， CHOU P A ．Compression of 3d point clouds using a region-adaptive hierarchical transform［J］．IEEE Transactions on Image Processing，2016，25（8）：3947-3956．
20	ALEXA M， BEHR J， COHEN-OR D，et al ．Computing and rendering point set surfaces［J］．IEEE Transactions on Visualization and Computer Graphics，2003，9（1）：3-15．
21	LIPMAN Y， COHEN-OR D， LEVIN D，et al ．Parameterization-free projection for geometry reconstruction［J］．ACM Transactions on Graphic，2007，26（3）：209-218．
22	HUANG H， WU S， GONG M，et al ．Edge-aware point set resampling［J］．ACM Transactions on Gra-phics，2013，32（1）：1-12．
23	YU L， LI X， FU C W，et al ．PU-Net：point cloud upsampling network［C］∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition．Salt Lake City：IEEE，2018：2790-2799．
24	WANG Y， WU S， HUANG H，et al ．Patch-based progressive 3d point set upsampling［C］∥Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition．Long Beach：IEEE，2019：5958-5967．
25	QIAN Y， HOU J， KWONG K，et al ．PUGeo-Net： a geometry-centric network for 3d point cloud upsampling［C］∥Proceedings of European Conference on Computer Vision．Berlin：Springer，2020：752-769．
26	LIU H， YUAN H， HAMZAOUI R，et al ．PU-Refiner：a geometry refiner with adversarial learning for point cloud upsampling［C］∥Proceedings of IEEE International Conference on Acoustics，Speech and Signal Processing．Singapore：IEEE，2022：2270-2274．
27	YANG Y， FENG C， SHEN Y，et al ．FoldingNet： point cloud auto-encoder via deep grid deformation［C］∥Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition．Salt Lake City：IEEE，2018：206-215．
28	VASWANI A， SHAZEER N， PARMAR N，et al ．Attention is all you need［C］∥Proceedings of Advances in Neural Information Processing Systems．Long Beach：NIPS，2017：5998-6008．
29	HE K， ZHANG X， REN S，et al ．Deep residual learning for image recognition［C］∥Proceedings of IEEE Conference on Computer Vision and Pattern Re-cognition．Las Vegas：IEEE，2016：770-778．
30	LI R， LI X， FU C，et al ．PU-GAN： a point cloud upsampling adversarial network［C］∥Proceedings of IEEE/CVF International Conference on Computer Vision．Seoul：IEEE，2019：7202-7211．
31	Evaluation metrics for point cloud compression：ISO/IEC m39966［S］．
32	Improvements of the bd-psnr model：VCEG-AI11 ［S］．
33	YUAN H， ZHANG D， WANG W，et al ．A sampling-based 3D point cloud compression algorithm for immersive communication［J］．Mobile Networks and Applications，2020，25（5）：1863-1872．
34	QIAN G， ABUALSHOUR A， LI G，et al ．PU-GCN：point cloud upsampling using graph convolutional networks［C］∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition．Nashville：IEEE，2021：11678-11687．

数据集	BD-PSNR/dB
数据集	文献［33］方法	文中方法
平均结果	-1.76	5.49
11509_Panda_v4	-2.08	4.54
13770_Tiger_V1	-2.37	6.66
camel	-3.86	6.02
casting	-4.98	3.06
chair	-3.65	5.66
cow	-2.01	6.15
duck	-1.62	4.21
eight	1.42	6.59
elk	-3.41	4.36
genus3	-1.08	5.19
kitten	-0.94	5.57
m32	-1.82	6.31
m60	-0.03	6.32
m329	-0.27	5.89
m333	-1.67	4.97
m355	-1.43	4.97
pig	-0.01	6.06
star	-0.39	5.48
statue_ramesses	-2.69	5.90
statue_rome	-2.28	5.91

数据集	不同上采样方法时的PSNR/dB
数据集	PU-Refiner	PU-GCN	PU-GAN	PU-Geo	MPU
平均结果	59.34	59.19	59.07	58.66	57.81
11509_Panda_v4	57.75	57.40	57.60	56.82	55.93
13770_Tiger_V1	61.60	61.53	61.03	60.89	60.15
camel	59.81	59.70	59.50	59.11	58.21
casting	57.61	57.28	57.10	56.94	56.16
chair	60.33	60.26	59.70	59.78	58.92
cow	60.23	60.17	59.90	59.78	58.71
duck	57.28	57.06	57.24	56.61	55.65
eight	60.41	60.32	60.14	59.72	58.95
elk	57.19	56.97	57.07	56.45	55.62
genus3	58.38	58.08	58.21	57.57	56.73
kitten	58.91	58.73	58.78	58.17	57.26
m32	60.77	60.79	60.38	60.13	59.35
m60	61.76	61.80	61.21	61.33	60.64
m329	59.51	59.34	59.28	58.70	57.88
m333	58.21	57.98	58.12	57.48	56.61
m355	58.40	58.16	58.34	57.74	56.80
pig	59.70	59.62	59.50	59.09	58.20
star	58.47	58.24	58.36	57.70	56.82
statue_ramesses	60.10	59.99	59.78	59.38	58.56
statue_rome	60.44	60.35	60.10	59.79	59.10

步骤	编码时间/s
步骤	G-PCC	文献［33］方法	文中方法
总时间	0.59	2.40	5.60
下采样	—	0.83	0.83
编码	0.59	0.16	0.16
上采样	—	1.41	4.61

[1]	彭仪普, 李剑, 韩衍群, 汤致远, 李子超, 于风晓, 陈立, 邹魁. 基于点云切片算法的铁路钢桁拱桥线形分析[J]. 华南理工大学学报(自然科学版), 2024, 52(7): 97-106.
[2]	胡习之, 崔博非, 王琴, 等. 基于记忆泊车场景的视觉SLAM算法[J]. 华南理工大学学报(自然科学版), 2024, 52(6): 1-11.
[3]	胡永健, 卓思超, 刘琲贝, 王宇飞, 李纪成. 基于多尺度时空特征和篡改概率改善换脸检测的跨库性能[J]. 华南理工大学学报(自然科学版), 2024, 52(6): 110-119.
[4]	杨春玲, 梁梓文. 特征域近端高维梯度下降图像压缩感知重构网络[J]. 华南理工大学学报(自然科学版), 2024, 52(3): 119-130.
[5]	郑娟毅, 董嘉豪, 张庆珏, 等. 基于残差密集网络的智能超表面信道估计算法[J]. 华南理工大学学报(自然科学版), 2024, 52(3): 102-111.
[6]	周浪, 樊坤, 瞿华, 等. 基于ECA注意力机制改进的EfficientNet-E模型的森林火灾识别[J]. 华南理工大学学报(自然科学版), 2024, 52(2): 42-49.
[7]	蔡晓东, 周青松, 叶青. 基于动态邻域采样的社交推荐模型[J]. 华南理工大学学报(自然科学版), 2024, 52(2): 32-41.
[8]	田晟, 宋霖, 赵凯龙. 基于偏移注意力机制和多特征融合的点云分类[J]. 华南理工大学学报(自然科学版), 2024, 52(1): 100-109.
[9]	李方, 郭炜森, 张平, 等. 基于时空双细胞状态的轴承剩余使用寿命预测方法[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 69-81.
[10]	苏锦钿, 余珊珊, 洪晓斌. 一种面向中文拼写纠错的自监督预训练方法[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 90-98.
[11]	李家春, 李博文, 林伟伟. AdfNet：一种基于多样化特征的自适应深度伪造检测网络[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 82-89.
[12]	郭恩强, 符锌砂. 基于特征相似性学习的抛洒物检测方法[J]. 华南理工大学学报(自然科学版), 2023, 51(6): 30-41.
[13]	赵建东, 焦岚馨, 赵志敏, 等. 考虑侧向车换道影响的理论和数据组合驱动的车辆跟驰模型[J]. 华南理工大学学报(自然科学版), 2023, 51(6): 10-19.
[14]	叶峰, 陈彪, 赖乙宗. 基于特征空间嵌入的对比知识蒸馏算法[J]. 华南理工大学学报(自然科学版), 2023, 51(5): 13-23.
[15]	马碧云, 吴港, 刘娇蛟, 等. 基于稀疏脉冲采样的低复杂度血流速度估计算法[J]. 华南理工大学学报(自然科学版), 2023, 51(5): 63-69.

基于采样的点云几何编码框架

Point Cloud Geometry Coding Framework Based on Sampling

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 34

相关文章 15

编辑推荐

Metrics

本文评价