DPKT：基于蒸馏预训练语言模型的新型知识追踪框架
摘要：在在线智能教育系统中，知识追踪（KT）是构建真正个性化学习环境的核心，而学习者历史行为中蕴含的丰富文本语境对于提供定制化教学指导至关重要。为应对传统KT模型难以充分利用文本信息、基于Transformer的预训练语言模型处理长文本时计算成本过高的双重挑战，我们提出基于预训练语言模型蒸馏的新型知识追踪框架DPKT。本框架首先针对特定KT任务对多个基于Transformer预训练语言模型进行微调以构建教师模型，随后采用协同知识蒸馏策略实现教师与学生模型间的参数高效共享。此外，我们整合全局注意力机制捕捉学习者学习行为序列中的长时空依赖关系，从而提升预测性能。在XES3G5M和DBE-KT22数据集上的实验表明，通过特定任务微调、协同知识蒸馏与全局注意力的协同作用，DPKT显著提升了对于学习者的预测精度，实现了稳定且资源高效的深度知识状态追踪。
照片及接收函：
推荐站内搜索：最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论，来说两句吧...