标题：基于预训练模型的文本摘要优化
作者：黄敬轩 刘康军 梁楚衡 江健武 颜子桓 田志锋
作者单位：南网电网深圳供电局有限公司，广东 深圳 518000
关键字：抽取式摘要；预训练语言模型；自然语言处理；小数据集
摘要：Transformers的双向编码器表示（BERT）是最新的预训练语言模型的代表之一，它成功地解决了一系列自然语言处理（NLP）任务。用于文本摘要的BERT体系结构（BERTSUM）是一个文本摘要模型，在预训练模型BERT作为编码器，使用多个“CLS”标签、区间段标签和线性分类器、RNN分类器或Transformer作为分类器的情况下，BESTSUM在抽象和抽取摘要方面都优于其他模型。然而，当数据集太小或训练步骤太长时，BERTSUM可能会出现过拟合现象。提出了一种基于BERT的小数据集句子嵌入方法，并在损失函数中加入了余弦相似性约束来减少过拟合程度。最后在CNN/DailyMail数据集及其较小型版本上测试这些方法。实验结果表明，与BERTSUM相比，该模型提高了抽取式摘要的Recall-Oriented Understudy for Gisting Evaluation（ROUGE） F1分数，并且过拟合的程度更小。