基于深度学习的玻璃基板铲起过程作用力预测

doi:10.12141/j.issn.1000-565X.210698

华南理工大学学报(自然科学版) ›› 2022, Vol. 50 ›› Issue (8): 71-81.doi: 10.12141/j.issn.1000-565X.210698

所属专题： 2022年机械工程

基于深度学习的玻璃基板铲起过程作用力预测

侯力玮¹王恒升^1,^2† 邹浩然¹

^1.中南大学机电工程学院，湖南长沙 410083
^2.中南大学高性能复杂制造国家重点实验室，湖南长沙 410083

收稿日期:2021-11-04 出版日期:2022-08-25 发布日期:2022-03-18
通信作者: 王恒升（1963-），男，博士，教授，主要从事机电系统动力学建模与控制、工业机器人控制技术研究。 E-mail:whsheng@csu.edu.cn
作者简介:侯力玮（1992-），男，博士生，主要从事机器人决策与规划算法研究。E-mail：lwhou1992@gmail. com
基金资助:
国家自然科学基金资助项目(51975587)

Deep Learning-Based Prediction of Contact Force in the Process of Shoveling Up Glass Subtrate

HOU Liwei¹ WANG Hengsheng^1,^2† ZOU Haoran¹

^1.College of Mechanical and Electrical Engineering, Central South University, Changsha 410083, Hunan, China
^2.State Key Laboratory of High Performance Complex Manufacturing, Central South University, Changsha 410083, Hunan, China

Received:2021-11-04 Online:2022-08-25 Published:2022-03-18
Contact: 王恒升（1963-），男，博士，教授，主要从事机电系统动力学建模与控制、工业机器人控制技术研究。 E-mail:whsheng@csu.edu.cn
About author:侯力玮（1992-），男，博士生，主要从事机器人决策与规划算法研究。E-mail：lwhou1992@gmail. com
Supported by:
the National Natural Science Foundation of China(51975587)

摘要/Abstract

摘要：

针对现有机器人接触性操作任务中作用力建模方法表征能力不足、通用性差的问题，以玻璃基板卸片这一实际生产过程为例，对复杂接触动力学的建模方法进行研究。考虑到玻璃基板铲起过程中的作用力受多个界面接触动力学的影响，表现出多模态、非线性、非平稳性的特性，将物理先验知识以不同形式融合在深度学习模型的设计以及训练过程中，提出一种结合深度学习与机理模型的铲起过程作用力预测方法——针对玻璃基板铲起过程的受力特点，提出结合多尺度卷积核、注意力机制以及长短时记忆网络的深度学习模型结构；提出动力学参数随机化方法与基于材料力学、断裂力学的接触力补偿措施，使仿真训练数据更鲁棒地反映真实接触情况；在均方误差损失函数基础上，针对不合理的物理“穿透”行为引入附加损失函数进行网络训练。实验结果表明，所提方法在作用力单步预测中的均方根误差为0.286，可以准确地预测水平与竖直两个方向的作用力，多步预测结果也可以满足应用需求，预测性能优于现有的主流模型。消融实验表明，文中方法的优良预测性能是局部特征提取模块、注意力机制模块与时序特征提取模块3个组件共同作用的结果，同时，所提出的改进损失函数提高了模型训练的稳定性。文中方法可以应用于类似场景中对机器人与环境的接触力预测。

关键词: 玻璃基板, 接触动力学, 作用力预测, 深度学习, 物理先验

Abstract:

In view of the problem of insufficient characterization ability and poor versatility of action force modeling methods in existing robot contact operation tasks, this paper studied on the modeling methods of complex contact dynamics by taking the actual production process of glass substrate shoveling as an example. Considering the fact that the forces during the glass substrate shoveling are affected by the contact dynamics of multiple interfaces, exhibiting the multimodal, nonlinear, and non-stationarity properties, this paper proposed a method for the prediction of the contact force by integrating physical prior knowledge in different forms in the design and training process of deep learning models. According to the stress characteristics of the glass substrate’s shoveling up process, a deep learning model structure combining multi-scale convolutional kernel, attention mechanism and long and short-term memory network was proposed; the kinetic parameter randomization method and the contact force compensation measures based on material mechanics and fracture mechanics were proposed to make the simulation training data more robust to reflect the real contact situation; based on the mean square error loss function, the additional loss function was introduced for network training for the unreasonable physical “penetration” behavior. The experimental results show that the proposed model can accurately predict the horizontal and vertical forces with the root mean square error of 0.286 in the single-step prediction, and the multi-step prediction results are also good enough to meet the application requirements. The prediction performance of the model is superior to the existing mainstream models. The ablation experiment shows that the excellent prediction performance of the model proposed is the result of the joint contribution of the local feature extraction module, the attention mechanism module and the temporal feature extraction module. At the same time, the improved loss function improves the stability of the model training. Our method can be used in similar applications for the prediction of robotic contact force with the environment.

Key words: glass substrate, contact dynamics, force prediction, deep learning, physical priors

中图分类号:

TH113.2

侯力玮, 王恒升, 邹浩然. 基于深度学习的玻璃基板铲起过程作用力预测[J]. 华南理工大学学报(自然科学版), 2022, 50(8): 71-81.

HOU Liwei, WANG Hengsheng, ZOU Haoran. Deep Learning-Based Prediction of Contact Force in the Process of Shoveling Up Glass Subtrate[J]. Journal of South China University of Technology(Natural Science Edition), 2022, 50(8): 71-81.

图/表 11

图1

图2

图3

图4

图5

图6

图7

图8

图9

表1

表2

参考文献 28

1	李继军，聂晓梦，李根生，等．平板显示技术比较及研究进展［J］．中国光学，2018，11（5）：695-710．
	LI Ji-jun， NIE Xiao-meng， LI Gen-sheng，et al ．Comparison and research progress of flat panel display technology［J］．Chinese Optics，2018，11（5）：695-710．
2	WANG L， ZHANG K， SONG Z，et al ．Ceria concentration effect on chemical mechanical polishing of optical glass［J］．Applied Surface Science，2007，253（11）：4951-4954．
3	王恒升，章壮，杨会义，等．一种平板显示玻璃起爪装置、起爪机械臂、自动上下料装置及起爪装置的使用方法：CN108726174A［P］．2018-11-02．
4	AYDINOGLU A， PRECIADO V M， POSA M ．Contact-aware controller design for complementarity systems［C］∥Proceedings of the IEEE International Conference on Robotics and Automation．Paris：IEEE，2020：1525-1531．
5	POSA M， CANTU C， TEDRAKE R ．A direct method for trajectory optimization of rigid bodies through contact［J］．The International Journal of Robotics Research，2014，33（1）：69-81．
6	MU X， WU Q ．On impact dynamics and contact events for biped robots via impact effects［J］．IEEE Transactions on Systems，Man，and Cybernetics，Part B （Cyberne-tics），2006，36（6）：1364-1372．
7	KOLBERT R， CHAVAN-DAFLE N， RODRIGUEZ A ．Experimental validation of contact dynamics for in-hand manipulation［C］∥Proceedings of the International Symposium on Experimental Robotics．Tokyo：IEEE，2016：633-645．
8	EREZ T， TASSA Y， TODOROV E ．Simulation tools for model-based robotics：comparison of Bullet，Havok，MuJoCo，ODE and PhysX［C］∥Proceedings of the IEEE International Conference on Robotics and Automation．Washington DC：IEEE，2015：4397-4404．
9	郭胤，王家序，李峰，等．弹性体摩擦的黏滞疲劳理论及实验研究［J］．摩擦学学报，2013，33（5）：443-448．
	GUO Yin， WANG Jia-xu， LI Feng，et al ．Theory of adhesion hysteresis-fatigue of elastomeric tribology and experimental demonstration［J］．Tribology，2013，33（5）：443-448．
10	FULLER D D ．Theory and practice of lubrication for engineers［M］．New York：Wiley，1984．
11	KOSHY C S， FLORES P， LANKARANI H M ．Study of the effect of contact force model on the dynamic response of mechanical systems with dry clearance joints：computational and experimental approaches［J］．Nonlinear Dynamics，2013，73（1）：325-338．
12	FICUCIELLO F， MIGLIOZZI A， COEVOET E，et al ．FEM-based deformation control for dexterous manipulation of 3D soft objects［C］∥Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems．Madrid：IEEE，2018：4007-4013．
13	NAGABANDI A， KONOLIGE K， LEVINE S，et al ．Deep dynamics models for learning dexterous manipulation［C］∥Proceedings of the Conference on Robot Learning．Cambridge：［s. n.］，2020：1101-1112．
14	BAUZA M， RODRIGUEZ A ．A probabilistic data-driven model for planar pushing［C］∥Proceedings of the IEEE International Conference on Robotics and Automation．Singapore：IEEE，2017：3008-3015．
15	LI Y， WU J， TEDRAKE R，et al ．Learning particle dynamics for manipulating rigid bodies，deformable objects，and fluids［C］∥Proceedings of the International Conference on Learning Representations．New Orleans：［s. n.］，2019．
16	FAZILI N， KOLBERT R， TEDRAKE R，et al ．Para-meter and contact force estimation of planar rigid-bodies undergoing frictional contact［J］．International Journal of Robotics Research，2017，36（13）：1437-1454．
17	AJAY A， WU J， FAZELI N，et al ．Augmenting physical simulators with stochastic neural networks：case study of planar pushing and bouncing［C］∥Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems．Madrid：IEEE，2018：3066-3073．
18	GOLTS A， FREEDMAN D， ELAD M ．Unsupervised single image dehazing using dark channel prior loss［J］．IEEE Transactions on Image Processing，2019，29：2692-2701．
19	CRANMER M， GREYDANUS S， HOYER S，et al ．Lagrangian neural networks［EB/OL］．（2020-07-30）［2021-10-12］．．
20	UTGOFF， PAUL E ．Machine learning of inductive bias［M］．Boston：Springer Science & Business Media，2012．
21	何彦，凌俊杰，王禹林，等．基于长短时记忆卷积神经网络的刀具磨损在线监测模型［J］．中国机械工程，2020，31（16）：1959-1967．
	HE Yan， LING Junjie， WANG Yulin，et al ．In-process tool wear monitoring model based on LSTM-CNN［J］．China Mechanical Engineering，2020，31（16）：1959-1967．
22	PENG X B， ANDRYCHOWICZ M， ZAREMBA W，et al ．Sim-to-real transfer of robotic control with dyna-mics randomization［C］∥Proceedings of the IEEE International Conference on Robotics and Automation．Brisbane：IEEE，2018：3803-3810．
23	JOZEFOWICZ R， WOJCIECH Z， ILYA S ．An empirical exploration of recurrent network architectures［C］∥Proceedings of the International Conference on Machine Learning．Lile：［s. n.］，2015：2342-2350．
24	COUMANS E ．Bullet physics simulation［C］∥Proceedings of the ACM SIGGRAPH 2015 Courses．Los Angeles：［s. n.］，2015．
25	HOU L W， WANG H S， LIU R H ．Research on mo-deling and experiment of glass substrate peeling based on adhesion theory［J］．Tehnički Vjesnik，2019，26（6）：1827-1832．
26	刘润华，王恒升，侯力玮．玻璃基板无损剥离的建模与分析［J］．制造业自动化，2020，42（2）：36-41．
	LIU Run-hua， WANG Heng-sheng， HOU Li-wei ．Mo-deling and analysis of nondestructive peeling of glass substrate［J］．Manufacturing Automation，2020，42（2）：36-41．
27	JANNER M， FU J， ZHANG M，et al ．When to trust your model：model-based policy optimization［C］∥Proceedings of the Conference in Advances in Neural Information Processing Systems．Vancouver：［s.n.］，2019：12519-12530．
28	FUNABASHI S， OGASA S， ISOBE T，et al ．Variable in-hand manipulations for tactile-driven robot hand via CNN-LSTM［C］∥Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems．Las Vegas：IEEE，2020：9472-9479．

模型	作用力的均方根误差/N		相关系数
模型	仿真结果	实验结果	仿真结果	实验结果
MLP	0.485	1.641	0.714	0.567
CNN-LSTM	0.197	0.705	0.909	0.846
文中模型	0.092	0.286	0.938	0.902

模型序号	模块A	模块B	模块C	作用力的均方根误差/N		相关系数
模型序号	模块A	模块B	模块C	结果仿真	结果实验	结果仿真	结果实验
1				0.485	1.641	0.714	0.567
2	√			0.165	0.639	0.854	0.716
3	√	√		0.122	0.346	0.883	0.742
4	√		√	0.143	0.612	0.916	0.862
5		√	√	0.328	1.283	0.935	0.854
6	√	√	√	0.092	0.286	0.938	0.902

[1]	李方, 郭炜森, 张平, 等. 基于时空双细胞状态的轴承剩余使用寿命预测方法[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 69-81.
[2]	苏锦钿, 余珊珊, 洪晓斌. 一种面向中文拼写纠错的自监督预训练方法[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 90-98.
[3]	李家春, 李博文, 林伟伟. AdfNet：一种基于多样化特征的自适应深度伪造检测网络[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 82-89.
[4]	郭恩强, 符锌砂. 基于特征相似性学习的抛洒物检测方法[J]. 华南理工大学学报(自然科学版), 2023, 51(6): 30-41.
[5]	赵建东, 焦岚馨, 赵志敏, 等. 考虑侧向车换道影响的理论和数据组合驱动的车辆跟驰模型[J]. 华南理工大学学报(自然科学版), 2023, 51(6): 10-19.
[6]	叶峰, 陈彪, 赖乙宗. 基于特征空间嵌入的对比知识蒸馏算法[J]. 华南理工大学学报(自然科学版), 2023, 51(5): 13-23.
[7]	莫建文, 朱彦桥, 袁华, 等. 基于神经元正则和资源释放的增量学习[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 71-79,90.
[8]	陆璐, 钟文煜, 吴小坤. 基于多尺度视觉Transformer的图像篡改定位[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 10-18.
[9]	张勤, 胡嘉辉, 任海林. 饲喂辅助机器人的智能推料方法与试验研究[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 111-120.
[10]	杨春玲, 凌茜, 吕泽宇. 特征域多假设预测视频压缩感知重构神经网络[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 80-90.
[11]	沃焱, 梁籍云, 韩国强. 基于度量学习的跨模态人脸检索方法[J]. 华南理工大学学报(自然科学版), 2022, 50(6): 1-9.
[12]	赵建东, 朱丹, 刘佳欣. 基于时间序列分解与门控循环单元的地铁换乘客流预测 [J]. 华南理工大学学报(自然科学版), 2022, 50(5): 22-31.
[13]	苏锦钿洪晓斌余珊珊. 基于多模型集成的语义文本相似性判断[J]. 华南理工大学学报(自然科学版), 2022, 50(4): 1-9.
[14]	冯浩王年唐俊. 面向大规模图像检索的深度多尺度注意力哈希网络[J]. 华南理工大学学报(自然科学版), 2022, 50(4): 35-45.
[15]	郑娟毅, 慕金玉, 邢丽荣, 等. 基于深度压缩感知的波束空间信道估计算法[J]. 华南理工大学学报(自然科学版), 2022, 50(12): 101-108.

基于深度学习的玻璃基板铲起过程作用力预测

Deep Learning-Based Prediction of Contact Force in the Process of Shoveling Up Glass Subtrate

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 28

相关文章 15

编辑推荐

Metrics

本文评价