从回答问题到自主调用工具、处理数据、执行任务,AI正在越来越深入地参与业务。但随着能力与权限不断扩大,人们对它的实际行为,未必看得更清楚:AI能访问哪些资料、调用哪些服务、把数据发送到哪里,是否始终在掌控之中?
9月10日,Anthropic发布《检测与应对AI滥用:2026年9月》报告,披露了多个AI滥用案例,并称部分内部资料、访问凭证等敏感信息,在用户不知情的情况下被传递至其服务。
数据正在被泄露:你和AI的聊天记录,未必只停留在你看到的对话窗口里。中转站截留、服务方转发、插件外联,都可能让对话中的内部资料、凭证和密钥流向其他系统,甚至在被窃取、转售后落入黑产手中。
知识正在被“蒸馏”:我们积累的经验、判断和行业Know-how,可能在与AI一轮轮的交流、补充和纠正中被透露。如果这些对话被用于后续训练或样本加工,其中的专业知识就可能转化为模型能力,再被其他模型学习和复用。
对正在把大模型引入业务的政企用户而言,需要守住的不只是敏感数据,还有长期积累的知识与经验。当AI开始接触内部资料、连接业务系统,如何确保这些资产始终处于可控制、可审计的边界内?
看得见模型调用
未必看得清数据流向
从技术机制上看,数据脱离使用者掌控,常见的情形有四类:
一是第三方中转平台“擅自切换模型”。用户自认为调用的是所选模型,实际请求先进入中间商,其后台决定最终调用对象,可能因接口故障或调度策略切换至其他模型,而用户并不知情。例如,某单位采购了一个标称支持某模型的办公平台,员工上传内部项目文件后,平台因接口故障自动切换到Claude,却未告知用户。
二是历史对话被复制用于模型训练。平台方可能将历史请求交由其他模型评分、改写或生成训练样本,若未清除其中的内部代码和访问凭证,就可能造成敏感信息外发。这类行为仅从当次问答中往往难以发现。例如,平台方收集了用户提交的技术问题,发给Claude生成更优答案作为训练材料,却没有清除其中的内部代码和访问凭证。
三是客户端因错误配置、插件误用或自动切换功能,造成了非预期外发。例如,用户将编程助手的默认模型设为本地模型,但保留了调用Claude的代码审查插件,则主对话由本地模型处理,插件却将相关代码另行发送给Claude。
四是用户自身安全意识薄弱。为图效率,用户主动把含真实数据库密码的配置文件、整包内部代码直接丢给AI,没做脱敏。一旦后端有任何外发,凭证随之暴露。
这些AI应用场景下的数据泄露路径,事实上背后都共同指向同一件事情:在模型调用背后,必须看清数据的真实流向。
大模型吸收的知识与经验
可能正是政企用户的核心竞争力
沿着上述这些调用链路流出的,不只是文件、代码和凭证,还有其中承载的经验、认知与技术。数据泄露之后,更深一层的风险,是企业知识被持续提取和复用。
Anthropic曾被披露大规模购买纸质书,通过拆除装订、扫描页面制作数字副本,纸质书在过程中被拆解、破坏。这折射出模型开发对知识资源的巨大需求。
从编程到游戏开发,从影视创作到图文音乐,AI能力不断扩展。企业在这些领域积累的方法、经验与判断,也可能随着资料上传和反复纠错,被转化为可供学习的材料。一旦这些内容进入外部训练链条,流出的就可能是支撑企业竞争力的“数字资产”。
我们是否在喂养未来的对手?
当企业持续向外部模型提供知识、经验与业务反馈,一个问题随之而来:我们在借助AI提升自身能力的同时,是否也在帮助外部系统复制自己的能力?
围绕能力扩张与安全边界,AI行业内部也出现了尖锐警示。近日,曾先后任职于OpenAI和Anthropic的研究人员Jacob Coxon公开宣布离职,批评两家公司竞逐自我改进的超级智能,并警告这一进程可能带来灾难性风险。他发誓永远不再从事模型行业并在辞职信中写道:这两家公司在毫无节制地创造未来10年会杀死我们的东西。
Anthropic对齐研究负责人Evan Hubinger也表达了类似担忧。模型能力快速扩张的同时,如何确保其始终受控,是行业必须面对的问题。
对政企用户而言,当下需要落实的是对数据和知识用途的控制:让AI处理业务,不等于授权外部服务任意留存、转发和训练。从控制数据流向,到约束知识再利用,企业需要一套贯穿部署、调用和使用全过程的数据「反萃取」防线。
永信至诚「原生安全」AI落地方案
构建企业数据「反萃取」防线
政企AI落地,需要让模型理解业务,也必须明确数据使用的边界:获准处理业务数据,不意味着可以任意留存、外传或用于训练。
永信至诚基于自身AI应用实践,面向政企用户提出数据「反萃取」防护思路,构建政企AI「原生安全」落地方法论:构建“模型安全—调用安全—应用安全—人员安全”防护体系,以测试评估贯穿全过程,将安全能力内嵌于模型部署、调用管控、业务应用和人员使用各环节,形成数据「反萃取」防线,支撑政企安全、高效地用好AI。
本地部署,让敏感数据处理留在受控环境内
对于希望在内部开展知识问答、材料处理和研发辅助的单位,「元方」原生安全大模型一体机提供本地算力与模型部署能力,并结合DPAA原生安全体系,将安全防护融入部署与运行环节。
面向高管日常办公中材料阅读、信息梳理和决策辅助等需求,永信至诚提供的「元明」大模型推理一体机及「元明」高管智能终端,则进一步降低使用门槛,让本地推理能力以开机即用的方式进入办公场景。
通过私有化部署,让模型在政企用户受控环境内处理业务数据,减少对外部模型推理服务的依赖,从部署源头收紧数据外发路径。
统一管控,模型调用可见、可管、可追溯
随着AI应用增多,各部门分别接接口、分散保管密钥、自行选择模型,容易让数据流向、使用权限和费用同时变得难以掌握。
「春秋元泉」大模型Token统一管控平台,围绕模型API与Token调用提供统一接入、管控、分发、治理和审计能力,帮助单位看清谁在调用、由哪个应用调用、使用了多少资源,并据此落实权限和调用策略。对于要求数据不出网的业务,应将调用范围限定在获批的私有化模型服务内,异常切换也必须遵循同一边界。
本地分析,让数据使用有边界
面对制度文件、项目资料和业务文档,永信至诚观宇AI数据洞察系统支持本地文件导入、模型分析、原文溯源与结果导出,帮助单位在本地部署环境中完成资料处理。
在应用过程中,落实按需授权和最小必要访问,让模型只接触当前任务获准使用的资料,并对分析结果及导出内容进行核验,减少过度读取和非必要传播。
将测试评估和人员能力贯穿使用始终
系统上线前,应围绕数据流向、访问权限、插件调用和异常外联开展测试;模型、组件或配置变化后,还应针对变化复测。永信至诚依托「数字风洞」及AI安全测评能力,帮助单位识别应用链条中的风险,为整改和持续运行提供依据。
与此同时,通过面向办公与研发人员的AI安全培训,把工具选择、资料输入、结果核验和异常报告转化为日常工作习惯,让员工知道哪些工具可以用、哪些数据需要保护、遇到问题如何处理。
企业数据「反萃取」,要把对数据用途的约束落实到部署、调用和使用全过程:让AI在授权范围内发挥价值,让企业始终掌握数据的使用与流转边界。
持续跟踪,让安全评估跟上AI技术演进
永信至诚安全实验室与AI研究院持续跟踪最新AI技术、模型动态与威胁情报,建立并迭代AI安全测试评估标准与方法,及时评估新技术、新模型的潜在风险,将研究成果转化为测评与防护能力,为政企持续用好AI提供支撑。
以「原生安全」为基石
让政企真正用好AI
从数据外泄到知识被未经授权地提取和复用,这些风险提醒我们:用好AI,既要发挥模型的能力,也要掌握数据、知识与工具调用的边界。
从安全管控、算力调用,到场景应用,测试评估与人员培训,永信至诚将「原生安全」贯穿AI落地全过程,帮助政企用户在可控环境下实现AI落地,让AI读懂业务、赋能员工,让安全保障与应用价值同步落地。
作为数字安全测试评估赛道领跑者、网络靶场和人才建设领军者、AI「原生安全」倡导者,永信至诚将持续以自身AI应用实践与安全能力,帮助政企客户用好AI、用出实效。保障数字健康,带给世界安全感。
完
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……



