在模型弱点分析阶段，本文提出算法采用小样本进行特征学习，对学生模型进行训练。设构建标注训练样本集C_{label_train}样本数K个，构建标注测试样本集C_{label_test}样本数M个，构建标注样本集C_label样本数为N，其中N = M + K。通过小样本模型训练，完成对学生模型的初始化构建，表示为model_studentk。基于model_studentk对标注样本集C_label进行预测，并对每一条样本数据的错误价值Err_value进行计算评估，其中Err_value的计算公式如下：

模型知识蒸馏总共包含三个阶段，分别为：模型弱点分析、样本数据增强以及模型迭代训练。在模型弱点分析阶段，通过模型弱点分析，实现标注样本集C_label的构建以及标注样本数据计算错误价值Err_value。在样本数据增强阶段，基于第一阶段的分析结果，完成训练增强样本集F_{label_train}的构建。

在模型迭代训练阶段，设为模型在测试样本集C_{label_test}上的评估效果。首次训练，基于训练增强样本集与训练标注样本集C_{label_train}进行混合构建训练样本集T₀，基于训练样本集对模型进行训练，通过C_{label_test}进行评估获得首次数据增强评估效果。

重复样本数据增强以及模型迭代训练步骤，直到模型评估效果值不再增长，停止模型迭代训练，其中，迭代中混合构建训练样本集构建方式为，完成模型知识蒸馏。

为了验证本文算法在自然语言领域多任务上的能力，本文算法采用多种任务的公开数据集进行验证，分别在信息抽取、文本摘要生成、文本分类三项任务上进行验证。其中，实体抽取任务采用人民日报命名实体识别数据集，数据集中的数据是在句子级进行了实体信息的标注；文本摘要生成任务采用自建数据集，其数据集是通过收集新浪微博、网易新闻等社交媒体以及新闻门户网站，通过数据爬虫、数据清洗、形成测试数据集，数据集包括文本详细信息以及文本简要介绍；文本分类采用通义实验室开源的中文文本领域分类测试集，数据集主要针对文本构建不同领域的分类标签。

基于上述三个测试集，分布在信息抽取任务、文本生成任务以及文本分类任务上对算法进行测试，以更加全面的评测知识蒸馏算法的效果。

本文所提出的知识蒸馏框架，选择在信息抽取、文本摘要生成、文本分类三项任务上进行验证，所以算法中的针对单条数据的h_x评估函数以及针对测试集的评估函数针对不同任务需要进行不同定义。

信息抽取任务中，本文算法中的评估函数采用F1值进行评估，F1值计算公式如下所示：

文本分类实验将针对算法在文本分类任务上的知识蒸馏性能进行数据实验以及分析。在数据的验证准备上，采用通义实验室开源的中文文本领域分类测试集，数据集主要包括不同领域的文本信息以及对应的领域标签，鉴于数据中存在超短文本信息，其文本信息与分类标签的语义关联度过低，通过数据清洗与人工判决的方式筛选部分数据作为实验的训练测试数据。其中，对语料的18类领域标签均匀采样，构建360条数据作为训练数据，进行学生模型初始小样本训练，另对各标签均匀采样1000条数据作为测试数据进行学生模型能力验证。

学生模型选择ERNIE3.0模型 [17] [18] ，作为文本分类模型，ERNIE模型基于Transformer架构，采用多层Transformer-XL作为骨干网络构建模型，通过输出层多标签的分类概率输出，实现模型的多分类任务。知识蒸馏具体实验结果如下 图1 所示，其中，X轴为训练数据规模，训练数据包括360条标注数据以及生成的仿真样本数据，Y轴为训练模型在测试数据集上的分类准确率。通过实验可以看出，在小样本情况下，模型的标签分类能力明显不足，通过知识蒸馏对训练样本进行增强，其分类准确在初期大幅度提升，后续逐渐趋于稳定。验证了框架在小样本的情况下，对分类任务具有较好效果。

信息抽取实验将针对算法在实体抽取任务上的知识蒸馏性能进行数据实验以及分析。在数据的验证准备上，采用人民日报命名实体识别数据集，数据集中的数据是在句子级进行了实体信息的标注，鉴于实验中选择的学生模型具有非常强的小样本学习能力，随机采样3条数据作为实验的训练数据，随机采样200条数据作为实验的测试数据。

学生模型选择UIE [19] 信息抽取模型，UIE抽取模型在2022年由百度和中科院软件所共同提出，其作为一种通用信息抽取 [20] 技术，通过多任务统一的标签架构设计以及学习实现通用信息抽取能力，同时，其在小样本学习以及零样本推理中具有较强能力。知识蒸馏具体实验结果如下 图2 所示，其中，X轴为训练数据规模，训练数据包括3条标注数据以及生成的仿真样本数据，Y轴为训练模型在测试数据集上的实体抽取准确率、召回率以及F1值。通过实验可以看出，鉴于UIE模型在信息抽取任务上具备较高的零样本以及小样本学习推理能力，在知识蒸馏过程中，其预测准确率小幅度下降、召回率能够大幅度提升，其F1值能够实现小幅度提升，验证了知识蒸馏框架在实体抽取任务上对学生模型具有一定的知识传递能力。

摘要生成实验将针对算法在摘要生成任务上的知识蒸馏性能进行数据实验以及分析。在数据的验证准备上，采用自建数据集，其数据集是通过收集新浪微博、网易新闻等社交媒体以及新闻门户网站，通过数据爬虫、数据清洗、形成测试数据集，数据集包括文本详细信息以及文本简要介绍。分别随机采样200条数据作为实验的训练数据以及测试数据。

学生模型选择Pegasus模型 [21] [22] ，Pegasus模型是一种生成式文本摘要模型，模型采用Transformer-based的编码器-解码器架构，通过GSG等训练任务构建，提升其摘要生成的效果。知识蒸馏具体实验结果如下 图3 所示，其中，X轴为训练数据规模，训练数据包括200条标注数据以及生成的仿真样本数据，Y轴为训练模型在测试数据集上的rouge-1、rouge-2、rouge-L、BLEU-4性能评估值。通过实验可以看出，通过本文算法的知识蒸馏，在摘要生成的任务上，模型的能力在各个指标上持续增长，验证了知识蒸馏框架在文本生成任务上，对学生模型的知识传递上具有很好的效果。

对比实验将对同等规模下基于蒸馏训练与基于标注数据训练的文本分类模型、摘要生成模型、实体抽取模型进行对比实验测试，对比其数据蒸馏与标注数据的训练模型推理能力差距，实验结果如 图4 所示。在信息抽取任务上，Y轴为训练模型在测试数据集上的实体抽取F1值，训练集规模为100条，可以看出知识蒸馏训练与标注样本训练在针对此项任务上的能力增强上几乎没有太大差距，标注样本训练略有提高。在文本分类任务上，Y轴为训练模型在测试数据集上的准确率值，训练集规模为7200条，可以看出标注样本训练较知识蒸馏训练有更好效果。在摘要生成任务上，Y轴为训练模型在测试数据集上摘要Rouge-L值，训练集规模为1500条，可以看出知识蒸馏训练与标注样本训练在摘要任务上，知识蒸馏相较于标注样本训练有更好的体现。

针对以上结果，通过训练过程观察可知，针对文本生成式任务，基于弱点增强的LLM知识蒸馏算法，相较于普通人类有更统一的样本生成标准以及样本生成质量，在摘要总结等生成任务上的样本构造能力有超越普通人的技能水平。在信息提取、文本分类等标签类的特征提取任务上，相较于其他任务其标签定义的误差更小，其生成样本可以达到接近人类标注的能力。