A team adds 50,000 new labeled edge cases to a spam classifier’s training set. The Python training script, model architecture, and hyperparameters are unchanged, yet the deployed model begins labeling different messages as spam. Explain why this behavior change is expected under the data-centric paradigm shift and name two engineering practices that must change to accommodate it.
数据相当于源代码,训练数据决定了ML模型最终的决策逻辑。添加了50000条标注数据后,模型可利用监督学习调整逻辑,学习到原来没有的模式,从而给出不同的预测结果。 为了适配该变化,首先需要做好数据集版本控制,便于复现旧模型的行为,以及审查是数据集的哪些变化导致了模型行为的变化。 二是测试集需要做相应的扩充以测试分类机的效果 commit:第二点应是 回归测试必须基于固定评估集核验数据分布与模型行为偏差,因为即便 Python 代码的单元测试全部通过,模型学习得到的决策边界依旧会发生变动。由此带来的实际影响是:数据集的变更等同于版本上线部署。