从AUC优化到XCurve——决策不变学习的一般范式初探｜SPP第72期

近年来，机器学习/深度学习技术已在诸多应用场景普及，极大促进了人工智能领域的发展。然而，现有方法主要依赖固定决策条件（如分类问题中的阈值）下的指标评估并优化模型性能，对于决策条件变化的适应能力欠佳。在风险敏感场景中（疾病预测、异常检测、金融欺诈识别等），决策者对于误报的容忍度极低，恰恰需要动态调整决策条件使模型较为严苛的性能约束。面向此类复杂需求，现有机器学习难以规避由于决策条件变化带来的系统性偏差。

在心理物理学理论中，人类在信号感知过程中所表现出的决策偏差已被广泛认可。为进一步解决该问题，W. Peterson, T. Birdsall 及 W.Fox 于上世纪50年代公开提出了 Receiver Operating Characteristic curve （ROC曲线）刻画不同阈值下的受试者信号识别真阳性率及假阳性率，并通过ROC曲线下面积(Area Under ROC Curve，AUROC)衡量不同阈值下的平均性能，规避了决策条件对于性能评估的影响。该指标于上世纪90年代初引入机器学习领域，截止至今，AUROC的指标性质、优化算法、泛化理论已得到广泛研究报道。在本期SPP报告中，首先对AUROC发展历史进行简要回顾，在此基础上介绍讲者团队关于复杂场景下AUROC优化拓展的相关工作，最后将对AUROC背后的决策不变范式进行总结抽象，简要介绍团队所构建的性能曲线优化(XCurve, https://xcurveopt.github.io/)框架及其相关工作。