华南理工大学学报(自然科学版) ›› 2022, Vol. 50 ›› Issue (4): 1-9.doi: 10.12141/j.issn.1000-565X.210427
所属专题: 2022年计算机科学与技术
苏锦钿1 洪晓斌2 余珊珊3
SU Jindian1 HONG Xiaobin2 YU Shanshan3
摘要: 作为目前自然语言处理及人工智能领域的主流方法,各种预训练语言模型由于在语言建模、特征表示、模型结构、训练目标及训练语料等方面存在差异,导致它们在下游任务中的表现各有优劣。为了更好地融合不同预训练语言模型中的知识及在下游任务中的学习能力,结合语义文本相似性判断任务的特点提出一种多模型集成方法MME-STS(Multi-Model Ensemble for Semantic Textual Similarity),给出相应的模型总体架构及相应的特征表示,并针对多模型的集成问题分别提出基于平均值、基于全连接层训练和基于Adaboost算法的三种不同的集成策略。实验结果表明,MMF-STS在国际语义评测SemEval 2014任务4的SICK和SemEval 2017 STS-B数据集上的Pearson共关系值和Spearman相关系数值均超过单个预训练语言模型方法。