华南师范大学干部培训

工学部人工智能学院2021级本科生江海琪同学以第一作者身份，在第33届国际人工神经网络会议（International Conference on Artificial Neural Networks，ICANN）发表研究论文。该研究论文标题为《基于大语言模型的碳市场价格预测微调以及迁移学习》（Carbon Price Forecasting with LLM-based Refinement and Transfer-Learning）。

ICANN（CCF C类会议）是专注于研究人工神经网络和神经计算的国际会议。该研究成果在我部人工智能学院范晨悠老师和国际商学院陈蕊老师共同指导下完成，国商2022级本科生丁颖同学参与贡献。该论文提出了一个用于预测欧盟碳排放交易计划（EU-ETS）和中国碳排放市场（China CEA market）的碳交易价格的框架。该框架首先利用时间序列模型（TSM）进行初始预测，然后应用大语言模型（LLM）提示学习来改善预测。论文通过用TSM预测与已知的真实价格作为思维链（CoT），来引导提示LLM完善未来TSM预测。LLM的上下文学习能力使其可以校正误差较大的时序预测。

为了进一步减少对于大模型的依赖，论文创新提出一种后续微调（Post-Finetuning）方法来训练一个由门控线性单元组成的小型网络，简称GLU模型。该模型将LLM的上下文学习能力蒸馏至小参数网络。这使得后续能够直接微调TSM输出，而不需要再提示LLM来获得精准预测。实验结果表明，在预测目标区域的碳价格时，该论文的方法将不同区域的TSM预测结果提升了10%到40%，在迁移学习任务中，该论文的方法提高了10%至21%。与此同时，与LLM相比，GLU模型也实现了不错的性能，在某些情况下甚至更优越，这证明GLU有效地结合了时间序列模型的短期预测能力和与LLM相关的长期趋势预测能力。