预训练模型常见问题：模型迁移中的知识遗忘
预训练模型在迁移学习中常面临知识遗忘问题：当模型从通用任务转向特定任务时，原有的广泛知识可能被新知识覆盖，导致性能下降。本文深入解析这一现象及其应对策略。
预训练模型常见问题：模型迁移中的知识遗忘根源
预训练模型通过大规模数据学习通用特征，如语言模型中的语法语义或图像模型中的边缘纹理。但在迁移到下游任务时，模型参数被调整以适配新数据，这一过程可能破坏原始知识。例如，一个在百科文本上预训练的模型，如果只针对医疗问答微调，可能忘记其他领域的词汇关联。这种知识遗忘的本质是模型容量有限，新任务优化迫使权重向特定方向偏移，牺牲了部分泛化能力。
知识遗忘的具体表现与影响
知识遗忘在迁移中表现为：模型在新任务上准确率提升，但对原始任务的推理能力下降。比如，图像分类模型经过细粒度鸟类识别微调后，可能无法正确分辨猫狗类别。在自然语言处理中，模型可能失去对通用常识的把握，回答涉及迁移前知识的问题时输出错误。这种遗忘不仅影响模型复用，还可能导致灾难性遗忘——任务顺序微调时，后任务覆盖前任务的知识。
预训练模型常见问题：模型迁移中的知识遗忘缓解策略
正则化与弹性权重巩固
弹性权重巩固通过计算预训练任务中每个参数的重要性，在微调时对重要参数施加额外惩罚，限制其大幅变化。例如，在语言模型迁移中，对于在通用语料中频繁出现的词语关联参数，设置较高学习率衰减，防止被新任务覆盖。类似地，L2正则化可约束整体参数变化幅度，但针对性较弱。
渐进式微调与多任务学习
渐进式微调先以低学习率训练少量epoch，再逐步增加任务特定层的学习率，让模型缓慢适应新数据。多任务学习则同时训练预训练任务和下游任务，例如在微调时保留10%的原始预训练数据混合训练，平衡新旧知识。研究表明，混合比例在1:10至1:5之间时，遗忘程度可降低30%以上。
预训练模型常见问题：模型迁移中的知识遗忘评估方法
评估知识遗忘需要对比微调前后模型在预训练任务上的性能。常用方法包括：保留一部分原始预训练测试集，微调后重新测试；或者构建一个包含多种任务的评估基准，如GLUE数据集中的多个子任务。例如，BERT模型在SQuAD问答任务微调后，在CoLA语法判断任务上准确率可能从82%降至74%，这种下降直接反映知识遗忘程度。
预训练模型常见问题：模型迁移中的知识遗忘与模型结构设计
适配器模块与增量学习
适配器模块在预训练模型中插入轻量级参数模块（如瓶颈层），仅训练这些模块而冻结原始权重。这样新任务知识存储在适配器中，原始参数保持不变，完全避免遗忘。例如，在Transformer的每层后添加两个线性层，参数量仅占原始模型的5%，可支持多个下游任务并行。增量学习则通过扩展模型输出层或添加任务特定头，实现知识持续积累。
知识遗忘是预训练模型迁移的核心挑战，但通过正则化、渐进微调、多任务学习、适配器模块等方法，可以有效平衡新旧知识。实际应用中，需根据任务相似性、数据规模和计算资源选择策略。理解并管理知识遗忘，是充分发挥预训练模型潜力的关键步骤。