一种面向中文拼写纠错的自监督预训练方法

doi:10.12141/j.issn.1000-565X.230031

华南理工大学学报(自然科学版) ›› 2023, Vol. 51 ›› Issue (9): 90-98.doi: 10.12141/j.issn.1000-565X.230031

所属专题： 2023年计算机科学与技术

一种面向中文拼写纠错的自监督预训练方法

苏锦钿¹ 余珊珊² 洪晓斌³

^1.华南理工大学计算机科学与工程学院，广东广州 510006
^2.广东药科大学医药信息工程学院，广东广州 510006
^3.华南理工大学机械与汽车工程学院，广东广州 510640

收稿日期:2023-02-02 出版日期:2023-09-25 发布日期:2023-04-10
通信作者: 余珊珊（1980-），女，博士，副教授，主要从事自然语言处理和深度学习等研究。 E-mail:susyu@139.com
作者简介:苏锦钿（1980-），男，博士，副教授，主要从事自然语言处理、深度学习和程序语言设计等研究。E-mail:sujd@scut.edu.cn
基金资助:
国家自然科学基金资助项目(61936003);广东省基础与应用基础研究基金资助项目(2019B151502057)

A Self-Supervised Pre-Training Method for Chinese Spelling Correction

SU Jindian¹ YU Shanshan² HONG Xiaobin³

^1.School of Computer Science and Engineering, South China University of Technology, Guangzhou 510006, Guangdong, China
^2.College of Medical Information Engineering, Guangdong Pharmaceutical University, Guangzhou 510006, Guangdong, China
^3.School of Mechanical and Automotive Engineering, South China University of Technology, Guangzhou 510640, Guangdong, China

Received:2023-02-02 Online:2023-09-25 Published:2023-04-10
Contact: 余珊珊（1980-），女，博士，副教授，主要从事自然语言处理和深度学习等研究。 E-mail:susyu@139.com
About author:苏锦钿（1980-），男，博士，副教授，主要从事自然语言处理、深度学习和程序语言设计等研究。E-mail:sujd@scut.edu.cn
Supported by:
the National Natural Science Foundation of China(61936003);Guangdong Basic and Applied Basic Research Foundation(2019B151502057)

摘要/Abstract

摘要：

预训练语言模型BERT/RoBERTa/MacBERT等虽然能够通过预训练任务中的掩码语言模型（MLM）很好地学习字和词的语法、语义及上下文特征，但其缺乏拼写错误识别及纠正能力，且在中文拼写纠错（CSC）任务中面临预训练与下游任务微调目标不一致的问题。为了进一步提升BERT/RoBERTa/MacBERT等模型的拼写错误识别及纠正能力，提出一种面向中文拼写纠错的自监督预训练方法MASC。MASC在MLM的基础上将对被掩码字的正确值预测转换成对拼写错误字的识别和纠正。首先，MASC将MLM对字的掩码扩展为相应的全词掩码，目的是提升BERT对单词级别的语义表征学习能力；接着，利用混淆集从音调相同、音调相近和字形相近等方面对MLM中的被掩码字进行替换，并将MLM的训练目标更改为识别正确的字，从而增强了BERT的拼写错误识别及纠正能力；最后，在3个公开的CSC语料集sighan13、sighan14和sighan15上的实验结果表明，MASC可在不改变BERT/RoBERTa/MacBERT等模型结构的前提下进一步提升它们在下游CSC任务中的效果，并且消融实验也证明了全词掩码、音调和字形等信息的重要性。

关键词: 中文拼写纠错, 文本纠错, 自然语言处理, 预训练语言模型, 深度学习, 自监督

Abstract:

Although the pre-trained language models like BERT/RoBERTa/MacBERT can learn the grammatical, semantic and contextual features of characters and words well through the language mask model MLM pre-training task, they lack the ability to detect and correct spelling errors. What’s more, they faces the problem of inconsistency between the pre-training and downstream fine-tuning stages in Chinese spelling correction CSC task. In order to further improve BERT/RoBERTa/MacBERT’s ability of spelling error detection and correction, this paper proposed a self-supervised pre-training method MASC for CSC, which converts the prediction of masked words into recognition and correction of misspelled words on the basis of MLM. First of all, MASC expands the normal word-masking in MLM to whole word masking, aiming to improve BERT’s ability of learning semantic representation at word-level. Then, the masked words are replaced with candidate words from the aspects of the same tone, similar tone and similar shape with the help of external confusion set, and the training target is changed to recognize the correct words, thus enhancing BERT’s ability of detecting and correcting spelling errors. Finally, the experimental results on three open CSC corpora, sighan13, sighan14 and sighan15, show that MASC can further improve the effect of the pre-training language model, i.e. BERT/RoBERTA/MacBERT, in downstream CSC tasks without changing their structures. Ablation experiments also confirm the importance of whole word masking, phonetic and glyph information.

Key words: Chinese spelling correction, text correction, natural language processing, pre-trained language model, deep learning, self-supervisory

中图分类号:

TP183

苏锦钿, 余珊珊, 洪晓斌. 一种面向中文拼写纠错的自监督预训练方法[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 90-98.

SU Jindian, YU Shanshan, HONG Xiaobin. A Self-Supervised Pre-Training Method for Chinese Spelling Correction[J]. Journal of South China University of Technology(Natural Science Edition), 2023, 51(9): 90-98.

参考文献 24

1	HONG Y Z， YU X G， HE N，et al ．Faspell：A fast，adaptable，simple，powerful Chinese spell checker based on dae-decoder paradigm ［C］∥Proceedings of the 5th Workshop on Noisy User-Generated Text （W-NUT 2019）．Hong Kong：Association for Computational Linguistics，2019：160-169.
2	WANG D M，TAY Y， ZHONG L ．Confusionset-guided pointer networks for Chinese spelling check［C］∥Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics．Stroudsburg：Association for Computational Linguistics，2019：5780-5785.
3	ZHANG S， HUANG H， LIU J，et al ．Spelling error correction with soft-masked BERT ［C］∥Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics．Stroudsburg：Association for Computational Linguistics，2020：882-890.
4	LI C W， CHEN J J， CHANG J S ．Chinese spelling check based on neural machine translation ［C］∥Proceedings of the 32nd Pacific Asia Conference on Language，Information and Computation．Stroudsburg：Association for Computational Linguistics，2018：367-375.
5	VASWANI A， NARASIMHAN K， SALIMANS T，et al ．Attention is all you need［C］∥Proceedings of the 31st Conference on Neural Information Processing Systems （NIPS 2017）．California：MIT Press，2017：5998-6008.
6	DEVLIN J， CHANG M W， LEE K，et al ．BERT：Pre-training of deep bidirectional transformers for language understanding ［C］∥Proceedings of NAACL-HLT 2109．Minnesota：Association for Computational Linguistics，2019：4171-4186.
7	CHENG X Y， XU W D， CHEN K L ．SpellGCN：Incorporating phonological and visual similarities into language models for Chinese spelling check ［C］∥Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics．Stroudsburg：Association for Computational Linguistics，2020：871-881.
8	WANG B X， CHE W X， WU D Y，et al ．Dynamic connected networks for Chinese spelling check［C］∥Proceedings of the Findings of the Association for Computational Linguistics：ACL-IJCNLP 2021．Stroudsburg：Association for Computational Linguistics，2021：2437-2446.
9	LI J， WU G S， YIN D F ．DCSpell：A detector-corrector framework for Chinese spelling error correction ［C］∥Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information．NY：ACM Press，2021：1870-1874.
10	LIU S J， YANG T， YUE T C ．PLOME：Pre-training with misspelled knowledge for Chinese spelling correction ［C］∥Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing．Stroudsburg：Association for Computational Linguistics，2021：2991-3000.
11	LI H， LI J J， JIANG W W，et al ．HMOSpell：Phonological and morphological knowledge guided Chinese spelling check ［C］∥Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing．Stroudsburg：Association for Computational Linguistics，2021：5958-5967.
12	XU H D， LI Z， ZHOU Q，et al ．Read，listen，and see：Leveraging multimodal information helps Chinese spell checking ［C］∥Proceedings of the Findings of the Association for Computational Linguistics：ACL-IJCNLP 2021．Stroudsburg：Association for Computational Linguistics，2021：716-728.
13	LIU Y H，OTT M， GOYAL N，et al ．RoBERTa：A robustly optimized BERT pretraining approach ［EB/OL］．（2019-07-26）［2023-01-05］．.
14	CUI Y M， CHE W X， LIU T，et al ．Pre-training with whole word masking for Chinese bert ［J］．IEEE/ACM Transactions on Audio，Speech，and Language Processing，2021，29：3504-3514.
15	段建勇，袁阳，王昊．基于Transformer局部信息及语法增强架构的中文拼写纠错方法［J］．北京大学学报（自然科学版），2021，57（1）：61-67.
	DUAN Jianyong， YUAN Yang， WANG Hao ．Chinese spelling correction method based on transformer local information and syntax enhancement architecture ［J］．Acta Scientiarum Naturalium Universitatis Pekinensis（Natural Science），2021，57（1）：61-67.
16	刘哲，殷成凤，李天瑞．基于BERT和多特征融合嵌入的中文拼写检查［J］．计算机科学，2023，50（3）：282-290.
	LIU Zhe， YIN Chengfeng， LI Tianrui ．Chinese spelling check based on BERT and multi-feature fusion embedding ［J］．Computer Science，2023，50（3）：282-290.
17	LIU C L， LAI M H， TIEN K W，et al ．Visually and phonologically similar characters in incorrect Chinese words：Analyses，identification，and applications ［J］．ACM Transactions on Asian Language Information Processing，2011，10（2）：1-10，39.
18	ZHANG R Q， PANG C， ZHANG C Q，et al ．Correcting Chinese spelling errors with phonetic pre-training ［C］∥Proceedings of the Findings of the Association for Computational Linguistics：ACL-IJCNLP 2021．Stroudsburg：Association for Computational Linguistics，2021：2250-2261.
19	JI T， YAN H， QIU X P ．SpellBERT：A lightweight pretrained model for Chinese spelling check ［C］∥ Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing（EMNLP 2021）．Stroudsburg：Association for Computational Linguistics，2021：3544-3551.
20	LAN Z Z， CHEN M D， GOODMAN S，et al ．ALBERT：A lite BERT for self-supervised learning of language representations ［EB/OL］．（2020-03-09）［2023-01-25］．.
21	WANG D M， SONG Y， LI J，et al ．A hybrid approach to automatic corpus generation for Chinese spelling check ［C］∥Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing．Stroudsburg：Association for Computational Linguistics，2018：2517-2527.
22	WU S H， LIU C L， LEE L H ．Chinese spelling check evaluation at SIGHAN bake-off 2013 ［C］∥Proceedings of the Seventh SIGHAN Workshop on Chinese Language Processing．Nagoya：Asian Federation of Natural Language Processing，2013：35-42.
23	YU L C， LEE L H， TSENG Y H，et al ．Overview of SIGHAN 2014 bake-off for Chinese spelling check ［C］∥Proceedings of the 3rd CIPS-SIGHAN Joint Conference on Chinese Language Processing （CLP’14）．Wuhan：Association for Computational Linguistics，2014：126-132.
24	TSENG Y H， LEE L H， CHANG L P，et al ．Introduction to Sighan 2015 bake-off for Chinese spelling check ［C］∥Proceedings of the Eighth SIGHAN Workshop on Chinese Language Processing．Beijing：Association for Computational Linguistics，2015：32-37.

[1]	胡习之, 崔博非, 王琴, 等. 基于记忆泊车场景的视觉SLAM算法[J]. 华南理工大学学报(自然科学版), 2024, 52(6): 1-11.
[2]	刘昊, 元辉, 陈晨, 高伟. 基于采样的点云几何编码框架[J]. 华南理工大学学报(自然科学版), 2024, 52(6): 148-156.
[3]	杨春玲, 梁梓文. 特征域近端高维梯度下降图像压缩感知重构网络[J]. 华南理工大学学报(自然科学版), 2024, 52(3): 119-130.
[4]	郑娟毅, 董嘉豪, 张庆珏, 等. 基于残差密集网络的智能超表面信道估计算法[J]. 华南理工大学学报(自然科学版), 2024, 52(3): 102-111.
[5]	周浪, 樊坤, 瞿华, 等. 基于ECA注意力机制改进的EfficientNet-E模型的森林火灾识别[J]. 华南理工大学学报(自然科学版), 2024, 52(2): 42-49.
[6]	陈琼, 冯媛, 李志群, 等. 基于语义-视觉一致性约束的零样本图像语义分割网络[J]. 华南理工大学学报(自然科学版), 2024, 52(10): 41-50.
[7]	刘卫朋, 李旭, 任子文, 等. 多尺度残差可变形肺部CT图像配准算法[J]. 华南理工大学学报(自然科学版), 2024, 52(10): 135-145.
[8]	胡广华, 涂千禧. 基于光度立体和双流特征融合网络的工业产品表面缺陷检测方法[J]. 华南理工大学学报(自然科学版), 2024, 52(10): 112-123.
[9]	李方, 郭炜森, 张平, 等. 基于时空双细胞状态的轴承剩余使用寿命预测方法[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 69-81.
[10]	李家春, 李博文, 林伟伟. AdfNet：一种基于多样化特征的自适应深度伪造检测网络[J]. 华南理工大学学报(自然科学版), 2023, 51(9): 82-89.
[11]	马晓亮, 安玲玲, 邓从健, 等. 基于行业词表的自动语音转写后优化技术[J]. 华南理工大学学报(自然科学版), 2023, 51(8): 118-125.
[12]	郭恩强, 符锌砂. 基于特征相似性学习的抛洒物检测方法[J]. 华南理工大学学报(自然科学版), 2023, 51(6): 30-41.
[13]	赵建东, 焦岚馨, 赵志敏, 等. 考虑侧向车换道影响的理论和数据组合驱动的车辆跟驰模型[J]. 华南理工大学学报(自然科学版), 2023, 51(6): 10-19.
[14]	叶峰, 陈彪, 赖乙宗. 基于特征空间嵌入的对比知识蒸馏算法[J]. 华南理工大学学报(自然科学版), 2023, 51(5): 13-23.
[15]	周楚昊, 林培群, 闫明月. 基于自监督学习的交通数据补全算法[J]. 华南理工大学学报(自然科学版), 2023, 51(4): 101-114.

一种面向中文拼写纠错的自监督预训练方法

A Self-Supervised Pre-Training Method for Chinese Spelling Correction

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献 24

相关文章 15

编辑推荐

Metrics

本文评价