跳到正文
热点事件历史事件

工商银行大语言模型训练发明专利公布,应对灾难性遗忘

2 篇报道2 个报道来源首报27 天前更新

先了解这件事

AI 综述

工商银行一项名为“大语言模型的训练方法、装置、设备和存储介质”的发明专利公布(9月25日公布,2026年5月29日申请),用于解决大语言模型在特定领域训练时的灾难性遗忘问题。 据专利申请内容,该方法以第二大语言模型的参数为初始值,添加待训练领域的领域专家网络,并结合自回归损失项与蒸馏损失项进行训练。专利称,该发明在将大语言模型应用在特定领域训练的过程中,能够学习新的特征并降低模型发生灾难性遗忘的概率。

AI 根据报道生成 · 27 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. 移动支付网
    工商银行申请大语言模型训练方法发明专利,可降低灾难性遗忘概率

    工商银行一项名为“大语言模型的训练方法、装置、设备和存储介质”的发明专利于9月25日公布,申请时间为2026年5月29日。该方法通过第一大语言模型以第二大语言模型参数为初始值并添加领域专家网络,结合自回归损失项和蒸馏损失项进行训练。专利称在将大语言模型应用于特定垂直领域训练时,能够学习新特征并降低灾难性遗忘的发生概率。

10月25日
  1. 智探AI应用
    工商银行申请大语言模型训练方法发明专利,应对灾难性遗忘

    工商银行一项名为“大语言模型的训练方法、装置、设备和存储介质”的发明专利于9月25日公布,申请时间为2026年5月29日。该方法以第二大语言模型参数为初始值、添加待训练领域的领域专家网络,结合自回归损失项与蒸馏损失项训练模型,用于在领域微调中学习新特征并降低灾难性遗忘概率。