机器学习常见问题：多任务学习与参数共享技巧
机器学习常见问题：多任务学习与参数共享技巧
在机器学习领域，多任务学习（MTL）通过同时训练多个相关任务来提升模型泛化能力，而参数共享则是其核心实现手段。然而，新手常困惑于“如何共享参数”“何时用MTL”以及“如何避免负迁移”。本文整理了7个高频问题，从原理到实战技巧，帮你快速掌握这一高效策略。
1. 多任务学习与单任务学习有什么本质区别？
单任务学习为每个任务独立训练模型，忽略了任务间的相关性；而多任务学习通过共享表示层（如神经网络的前几层）同时训练多个任务，利用共性特征提升效率。例如，在自动驾驶中同时预测车道线和障碍物，共享底层视觉特征能减少过拟合。区别在于：MTL要求任务间有相关性，否则可能因“任务冲突”降低性能；而单任务模型更独立，但数据利用率和泛化能力较低。
2. 参数共享有哪些常见模式？哪种最常用？
参数共享分为硬共享和软共享。硬共享（最常用）是所有任务共用底层网络，仅顶层输出层独立，如BERT的共享Transformer层。软共享则各任务有独立参数，但通过正则化（如L2距离）约束参数相似性。硬共享更节省参数、适合任务高度相关；软共享灵活但计算开销大。实践中，推荐优先尝试硬共享，若任务差异明显再改用软共享。
3. 多任务学习一定会提升性能吗？什么情况下会失败？
不一定。MTL可能因“负迁移”导致性能下降，常见于：1）任务冲突（如分类任务与回归任务目标方向相反）；2）数据量差异过大（如A任务样本多，B任务样本少，导致共享层偏向A）；3）任务无关性（如文本情感分析+图像分类）。解决方法：使用任务权重调整（如动态加权）、梯度截断，或引入任务特定适配层。
4. 如何选择适合多任务学习的任务组合？
关键原则是“相关性+互补性”。相关性可通过任务损失函数梯度余弦相似度量化（正相关>0.3较佳）。互补性指任务提供不同视角，如语音识别中同时预测音素和语义标签。避免组合反向任务（如“增加销售额”与“降低获客成本”）。实操建议：先用小模型（如两层MLP）测试任务梯度相关性，再决定是否共享。
5. 参数共享时如何避免梯度冲突？
梯度冲突指不同任务的梯度方向相反（夹角>90°），导致更新震荡。常用技巧：1）梯度裁剪（将梯度限制在固定范数内）；2）梯度归一化（按任务调整梯度尺度）；3）PCGrad（Project Conflicting Gradients）算法，直接投影冲突梯度到正交方向。此外，为每个任务设置独立学习率（如使用GradNorm）也能缓解。
6. 新手在实现多任务学习时最容易犯什么错误？
三大典型错误：1）任务头设计不合理——所有任务共用输出层（如将分类和回归任务强行用softmax输出）；2）损失函数权重固定——忽略任务收敛速度差异，导致训练不稳定；3）忽视数据不平衡——任务A样本是任务B的100倍，共享层被A主导。正确做法：用可学习权重（如Uncertainty Weighting）平衡损失，并为每个任务单独设置早停策略。
7. 多任务学习在哪些场景中效果最显著？
效果最突出的场景：1）数据稀缺领域（如医疗图像，利用CT和MRI任务共享特征）；2）多模态任务（如视频理解中同时做动作识别和音频分类）；3）推荐系统（同时预测点击率和转化率，共享用户行为特征）。反之，若任务间数据量差异极大或标签噪声高，建议先用单任务模型作为基线。
总结：多任务学习通过参数共享挖掘任务共性，是提升模型效率与泛化能力的利器，但需警惕负迁移。核心技巧包括：选择正相关任务、优先硬共享、动态调整损失权重、监控梯度冲突。从简单场景（如2个强相关任务）入手，逐步扩展，你也能掌握这一高级技术。