谷歌开源Magika工具，助力数字安全

谷歌宣布，它正在开源Magika，这是一种人工智能（AI）驱动的工具，用于识别文件类型，以帮助防御者准确检测二进制和文本文件类型。

该公司表示：“Magika 优于传统的文件识别方法，在传统上难以识别但存在潜在问题的内容（如 VBA、JavaScript 和 Powershell）上提供了 30% 的整体准确性提升和高达 95% 的精度提升。

该软件使用“自定义的、高度优化的深度学习模型”，能够在几毫秒内精确识别文件类型。Magika 使用开放式神经网络交换 （ONNX） 实现推理功能。

谷歌表示，它在内部大规模使用 Magika，通过将 Gmail、Drive 和安全浏览文件路由到适当的安全和内容政策扫描仪来帮助提高用户的安全性。

网络安全

2023 年 11 月，这家科技巨头推出了 RETVec（Resilient and Efficient Text Vectorizer 的缩写），这是一种多语言文本处理模型，用于检测 Gmail 中的垃圾邮件和恶意电子邮件等潜在有害内容。

在关于快速发展的技术及其被与俄罗斯、中国、伊朗和朝鲜有关的民族国家行为者滥用以加强黑客攻击的努力的持续辩论中，谷歌表示，大规模部署人工智能可以加强数字安全，并“将网络安全平衡从攻击者倾斜到防御者”。

谷歌开源 Magika

它还强调需要对人工智能的使用和采用采取平衡的监管方法，以避免未来攻击者可以创新，但防御者因人工智能治理选择而受到限制。

“人工智能允许安全专业人员和防御者扩展他们在威胁检测、恶意软件分析、漏洞检测、漏洞修复和事件响应方面的工作，”这家科技巨头的菲尔·维纳布尔斯（Phil Venables）和皇家汉森（Royal Hansen）指出。“人工智能提供了颠覆防御者困境的最佳机会，并倾斜了网络空间的天平，使防御者对攻击者具有决定性的优势。

生成式人工智能模型将网络抓取的数据用于训练目的也引起了人们的担忧，其中也可能包括个人数据。

网络安全

“如果你不知道你的模型将用于什么，你怎么能确保它的下游使用将尊重数据保护以及人们的权利和自由？”英国信息专员办公室（ICO）上个月指出。

更重要的是，新的研究表明，大型语言模型可以充当“潜伏代理”，这些代理可能看似无害，但在满足特定标准或提供特殊指令时，可以被编程为从事欺骗性或恶意行为。

人工智能初创公司Anthropic的研究人员在研究中表示：“这种后门行为可以持续存在，因此它不会被标准的安全培训技术所消除，包括监督微调，强化学习和对抗性训练（引发不安全行为，然后训练将其删除）。