山花落尽，我心犹青

1. 协变量偏移 (Covariate Shift)#

核心定义

协变量偏移 指的是输入特征 $P(x)$ 的分布发生了变化，但特征到标签的映射规则 $P(y|x)$ 保持不变。

直观理解：考试大纲（$P(y|x)$，即解题方法）没变，但练习题全是选择题，正式考试却全是填空题（$P(x)$，即题目形式变了）。模型学到的“解题能力”依然有效，但它不熟悉新的“题目格式”。

经典例子：训练一个自动驾驶视觉模型。

• 训练集：90% 是晴朗白天的路况图像，10% 是雨天或夜晚的图像。
• 测试/部署环境：模型被部署在多雨的地区，用户经常在夜间或恶劣天气下驾驶。此时，输入图像 $P(x)$ 的分布（暗光、雨滴、反光）与训练集大相径庭。

修正策略：核心思路是修正 $P(x)$ 的偏移，让模型在训练时更“重视”那些在测试集中更可能出现的样本。这通常通过重要性采样 来实现。

重要性采样为训练集中的每个样本 $x_i$ 分配一个权重 $\beta_i$：

其中，$P_{train}(x)$ 和 $P_{test}(x)$ 分别是训练集和测试集的特征分布。这个权重 $\beta_i$ 衡量了样本 $x_i$ 在测试环境中的“相对重要性”。在训练时，我们不是平等看待所有样本，而是根据 $\beta_i$ 调整其损失函数的贡献。这样，模型就会更关注那些在测试集中更常见的特征模式。

2. 标签偏移 (Label Shift)#

核心定义

标签偏移 指的是标签 $P(y)$ 的分布发生了变化，但给定标签后特征的分布 $P(x|y)$ 保持不变。

直观理解：猫和狗本身的样子（$P(x|y)$）没变，模型依然能认出它们的特征。但现实世界中猫和狗的比例（$P(y)$）变了。

小思考：既然模型能认出猫和狗，为什么标签偏移会影响性能？模型在训练时，不仅学习了特征与标签的关联 $P(y|x)$，还隐式地学习了标签的先验分布 $P(y)$。在分类决策时，模型会综合证据 $P(y|x)$ 和先验信念 $P(y)$（通常通过贝叶斯定理）。例如，在训练一个垃圾邮件过滤器时：

• 训练数据：90% 是正常邮件，10% 是垃圾邮件。
• 模型学到的逻辑是：“大部分邮件都是正常的，因此除非特征证据非常强，否则我应该倾向于判为正常邮件”，这样可以获得更高的整体准确率。
• 部署环境：用户邮箱中垃圾邮件的比例飙升到 70%。此时，模型基于旧先验的“保守”策略会导致大量垃圾邮件被误判为正常邮件。

修正策略：目标是估计并修正 $P(y)$ 的偏移。难点在于，在测试阶段，我们通常无法直接获得真实的标签 $y$ 来统计 $P_{test}(y)$。

一个巧妙的方法是使用混淆矩阵法：

1. 在已有的验证集上（其标签分布已知且与旧训练集一致），计算模型的混淆矩阵 $C$。矩阵元素 $C_{ij}$ 表示当真实标签为 $j$ 时，模型预测为 $i$ 的概率。
2. 在测试集上，统计模型预测结果的分布 $P_{test}(\hat{y})$（$\hat{y}$ 为预测标签）。
3. 假设 $P(x|y)$ 不变，混淆矩阵 $C$ 在测试集上依然有效。那么存在关系： $C \cdot P_{test}(y) \approx P_{test}(\hat{y})$ 这里 $P_{test}(y)$ 是我们要求的真实测试集标签分布。
4. 通过求解这个线性方程组（或优化问题），我们可以反推出 $P_{test}(y)$ 的估计值。
5. 最后，在模型进行决策时，用估计出的新先验 $P_{test}(y)$ 替代旧的 $P_{train}(y)$。

这种方法的核心在于：通过观察模型在测试集上“错得有多离谱”（预测分布与真实分布的差异），并利用已知的“犯错模式”（混淆矩阵），来倒推真实世界的类别比例。

3. 概念偏移 (Concept Shift)#

核心定义

概念偏移 是最棘手的一种，它指的是输入特征和输出标签之间的映射关系本身发生了变化，即 $P(y|x)$ 发生了改变。

直观理解：事物的定义或关联性随着时间或语境发生了演变。例如，“酷”这个词（特征 $x$）在十年前可能主要形容服饰装扮，而在今天可能更常用来形容一种生活方式或态度（标签 $y$ 的内涵变了）。

现实例子：流感症状预测模型。

• 训练数据：收集于2019年（新冠疫情前）。当时，发烧、咳嗽等症状（$x$）有很高的概率指向流感（$y$）。
• 部署时间：2024年。由于广泛接种疫苗、佩戴口罩成为习惯，同样的症状组合（$x$）在今天指向流感的概率 $P(y|x)$ 显著降低了。此外，新冠病毒的存在也引入了新的混淆项。

修正策略：概念偏移通常无法用一个简单的数学公式进行静态修正，因为它涉及知识本身的更新。工程上常采用动态适应策略：

• 在线学习：模型不再是一次性训练完成，而是持续接收新的数据流，并不断进行微调，像人一样“与时俱进”。
• 滑动窗口训练：只使用最近一段时间内的数据来训练或重新训练模型，抛弃过于陈旧、可能已不相关的历史数据。这在金融时序预测等领域非常常见。
• 多模型集成与动态加权：同时维护一个在历史数据上训练的“老专家”模型和一个在新数据上训练的“新学徒”模型。根据它们在近期表现上的对比，动态调整两个模型预测结果的权重。
• 概念漂移检测：设计监控指标，主动检测 $P(y|x)$ 是否发生显著变化，从而触发模型的更新流程。