跳到正文
智探AI应用· 点击关注->·· 28 天前AI 评分46

工商银行申请大语言模型训练方法发明专利,应对灾难性遗忘

工行申请一项发明专利:关于大模型训练

AI 导读

工商银行一项名为“大语言模型的训练方法、装置、设备和存储介质”的发明专利于9月25日公布,申请时间为2026年5月29日。该方法以第二大语言模型参数为初始值、添加待训练领域的领域专家网络,结合自回归损失项与蒸馏损失项训练模型,用于在领域微调中学习新特征并降低灾难性遗忘概率。

来源:智探AI应用 · mp.weixin.qq.com