正文

AI模型训练数据准确性和输出统计精确度

admin
admin V管理员 /0 评论 /102 阅读
0612
此篇文章发布距今已超过262天，您需要注意文章的内容或图片是否可用！

2024‍

本文主要关注的是生成式AI模型输出结果如何符合准确性原则，以及训练数据的准确性对输出的影响。英国信息专员办公室ICO 初步认为，对于准确性的要求需要依据模型的使用目的来确定。这同如何落实数据最小化原则和目的限制原则一样，还是看模型使用目的！

一、准确性原则在GDPR中的定义

Article 5(1)(d) of the GDPR：

“1. Personal data shall be: (d) accurate and, where necessary, kept up to date; every reasonable step must be taken to ensure that personal data that are inaccurate, having regard to the purposes for which they are processed, are erased or rectified without delay (‘accuracy’)”
准确性是GDPR的基本原则之一。这一法律原则要求数据控制者确保处理的个人数据“准确，必要时保持最新”，并“采取一切合理的步骤……确保在处理目的的范围内，个人数据不准确时应立即删除或更正”。

二、AI 模型训练数据准确性和输出结果统计精确度

个人数据保护概念中的准确性，即关于某个人的个人数据是否正确和及时更新。但在AI模型场景下，仅考虑数据本身的准确性还不够。此时AI模型输出结果准确性同样对个人权益影响重大。AI工程师在统计建模中使用准确性来指代AI系统精确度。因此，本文讨论包括两个维度：AI 模型训练数据的准确性和模型输出结果的统计精确度。

三、个人数据一定都要准确吗？

ICO指出，个人数据并不一定需要准确无误。在某些情况下，个人数据并不需要保持最新状态。个人数据是否需要准确取决于处理的目的：在某些情况下，处理过时或不准确（如本身错误的观点）的信息是合理的。

在某些情况下，数据控制者甚至不需要更新信息以保持数据的准确性。例如，如果仅出于统计、历史或其他研究目的而持有个人数据，更新数据则可能会破坏该目的。
另外，数据控制者可以合理地依赖个人在数据发生变更时主动告知，例如当地址或其他联系信息变化时。定期要求个人更新自己的信息可能是推荐的做法，但ICO不建议采取极端措施确保个人的记录是最新的，因为这可能过度收集个人数据或者增加隐私风险。

四、 如何确保训练数据准确性

模型训练数据可能是直接收集或者从第三方获取。为了避免收集数据不准确建议：  

  • 如果是直接收集，准确记录个人提供的数据，例如利用下拉框选项而不是文本输入方式，减少个人输入过程中的错误，或者其他验证机制提高数据收集过程中的准确性；
  • 准确记录数据来源；
  • 在具体情况下采取合理的步骤确保数据更新过程中的准确性；
  • 而且要仔细考虑任何影响数据准确性的挑战，并采取措施以应对挑战。
    ‍
“合理的步骤或者措施”将取决于具体情况，特别是个人数据的性质以及将如何使用数据。个人数据越重要越敏感，就应该越努力确保其准确性。因此，如果正在使用数据来做出可能对相关个人或他人产生重大影响的决定，就需要更加努力地确保其准确性。
保证模型训练数据的准确性是训练高质量AI模型的关键。以下是一些通用技术方法供参考：
1. 数据清洗：
  • 去除噪音：删除明显的错误、重复和无关的数据。
  • 处理缺失值：填补、删除或忽略缺失值，根据情况选择合适的方法。
    ‍
2. 数据验证：
  • 手动检查：对样本数据进行人工审查，确保其正确性。
  • 自动化检测：使用脚本或工具进行自动化的异常检测。
3. 数据标注：
  • 多重标注：同一数据由多个人标注，利用一致性检查来提高准确性。
  • 专业标注员：对于复杂领域的数据，使用具有专业知识的标注员。
    ‍
4.  数据源选择：
  • 可靠来源：选择来自可信和高质量来源的数据。
  • 多样化来源：从多个独立的来源获取数据，以减少偏见和错误。
    ‍
5. 数据版本控制：
  • 记录变化：保持数据集的版本控制，记录每次修改和更新的原因。
  • 可追溯性：确保可以追溯到数据的原始来源和修改历史。
    ‍
6. 定期审查：
  • 周期性检查：定期重新审查和更新数据，确保其与最新的标准和实际情况保持一致。
  • 用户反馈：根据模型实际应用中的反馈，不断改进和优化训练数据。
    ‍
7. 使用验证集：
  • 交叉验证：将数据集划分为训练集和验证集，利用验证集评估模型性能，确保训练数据的代表性和准确性。
通过以上方法，可以显著提高模型训练数据的准确性，从而提升模型的性能和可靠性。

五、如何确保AI模型训练结果的精确性

对于生成式AI模型来说，首先考虑训练数据对输出的影响，其次是输出将如何被使用。如果不准确的训练数据导致了不准确的输出，或者模型训练统计精确度低，最终导致输出对个人有影响，那么开发者和部署者可能都没有遵循准确性原则。例如，如果用户错误地依赖生成型AI模型提供的信息，可能会产生负面影响，如声誉受损、财务损失和传播错误信息。

但是生成型AI模型的输出必须准确吗？
这个问题只有在首先考虑基于生成式AI模型的应用目的是什么之后才能得到回答。
开发和使用具有纯粹创造性目的的生成型AI模型不太可能需要将确保输出准确性作为其首要任务，例如绘画、编写小说，创意和新颖性比准确性更重要。但是随着生成型AI模型越来越多地用于对人的决策，或者越来越多地被其用户作为信息来源而不是灵感来源，那么在设计和测试模型时，准确性就应该成为核心原则。
此外，正如ICO在关于人工智能和数据保护的指导方针所明确指出的，准确性原则并不意味着生成式AI模型的输出必须达到100%的统计精确度。AI系统统计精确度水平取决于模型的使用方式，取决于是否模型针对个人／群体做出什么样的决策。对个人权益的影响越高，则需要较高的统计精确度。例如，模型用于筛选审批贷款额度或者是否聘用。
确定模型输出结果的统计精确性通常涉及以下技术方法，供参考：
1. 定义评估指标：
  • 分类模型：常用指标包括准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1分数（F1 Score）、ROC曲线下面积（AUC-ROC）等。
  • 回归模型：常用指标包括均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）、决定系数（R²）等。
    ‍
2. 分割数据集：
  • 训练集和测试集：将数据集分成训练集和测试集，训练集用于训练模型，测试集用于评估模型性能。
  • 交叉验证：使用交叉验证（如k折交叉验证）方法，多次重复数据集的分割和训练，减少因单一数据集分割带来的评估偏差。
    ‍
3. 构建混淆矩阵：
  • 对分类模型，构建混淆矩阵可以直观地展示模型在不同类别上的预测性能。
4. 计算指标：
  • 通过测试集上的实际输出和模型预测结果，计算预先定义的评估指标。
  • 使用交叉验证时，计算每次验证的指标并取平均值，以获得更稳定和可靠的评估结果。
    ‍
5. 置信区间：
  • 计算评估指标的置信区间，确定指标的统计置信度，量化不确定性。
  • 常用的方法有Bootstrap抽样方法和标准误差计算。
    ‍
6. 统计检验：
  • 对比不同模型或同一模型在不同数据集上的表现时，可以使用统计检验方法（如t检验、Mann-Whitney U检验）来判断差异是否显著。
    ‍
7. 评估真实数据：
  • 通过模型在实际应用中的表现来进一步验证其统计准确性。
  • 收集用户反馈和真实世界数据，持续监控和改进模型。
8. 误差分析：
  • 分析模型输出的错误案例，找出模型的弱点和不足，进一步优化和调整模型。
  • Ÿ通过这些步骤，可以系统地评估模型输出结果的统计精确性，确保模型在不同情况下都能保持较高的性能和可靠性。
    ‍
    ‍

六、目的与准确性之间的联系

如前所述，决定生成式AI模型输出精确度的关键因素是该模型的特定用途。因此，确保模型的最终应用与其准确性水平相适应的清晰披露对于开发者、部署者和最终用户来说至关重要。

如果模型的统计精确性不足，开发者为其设想的应用目的也不需要准确性，那么开发者应采取技术和组织控制措施，确保该模型不被用于需要准确性的用途。这可能包括在部署者与客户签订的合同中包含限制使用类型的合同条款，或者分析客户在通过API访问模型时的使用情况（当模型被访问／调用时）。
开发者还应评估和披露所谓的“幻觉”的风险和影响，即不正确和意想不到的输出。这些输出可能由于生成式AI模型的随机性而产生。如果没有相应的评估和披露机制来评估和传达不准确性的可能性和影响，用户可能会错误地依赖生成式AI工具提供的信息，而实际上模型在胡说八道。
总的来说，当基于生成式AI模型的应用程序面向个人使用者时，监控模型的被使用的场景尤为重要。开发者和部署者都需要仔细考虑并确保模型不被超出其准确度水平的方式使用。这可能包括：
  • 披露关于应用程序统计准确性的清晰信息，以及关于适当使用的易于理解的信息；
  • 通过分析用户查询数据或监控用户公开共享的输出来监控用户生成的内容。
    ‍
— THE END —
--------------------------------------------------------‍


推荐站内搜索：最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
ZhouSa.com