一. 简介
1.1
公司概况
CalypsoAI成立于2018年,总部位于美国,是一家专注于人工智能安全领域的初创公司。CalypsoAI的市场定位在于为AI安全落地开辟可靠路径,解决AI在企业应用中面临的安全威胁,确保AI模型在推理中的安全可信。从官网信息[1]可以看出,CalypsoAI遵循OWASP、NIST、MITRE等国际权威认证与标准制定方的合规要求。
CalypsoAI提供AI防护能力的对象包括政务、军方、企业,客户包括美国国土安全部 、美国空军、航空部等[2]。Forrester Research已将CalypsoAI列为重要的AI安全解决方案提供商[3]。
图 1 CalypsoAI官网首页
CalypsoAI 创始团队的核心人物包括Neil Serebryany和Victor Ardulov。
作为CalypsoAI 的联合创始人,Neil Serebryany拥有国家安全与风险投资的双重背景,长期在国防部家安全创新前线工作,负责制定AI在国防领域的应用策略,被广泛认为是该领域的领军人物。2018 年创立CalypsoAI后,Neil Serebryany主导公司战略方向与商业化落地,推动产品从单点工具向全生命周期 AI 安全平台转型,提出 “AI 安全需与业务需求深度融合” 的理念,与德勤中东等机构合作制定全球企业级 AI 安全标准。Neil Serebryany的职业轨迹融合了政策制定与技术商业化,曾作为全球最年轻的风投之一投资多家AI初创公司,深谙技术产业化路径。
Victor Ardulov是CalypsoAI的联合创始人之一,2018年9月至2022年10 月就职于CalypsoAI。公开资料显示[4,5],Victor Ardulov在加州大学圣克鲁斯分校取得学士学位,之后在南加州大学攻读硕士和博士学位。在南加州大学期间,Victor Ardulov与Neil Serebryany结识,之后作为团队的创始技术成员,担任了四年的首席科学官,负责开发机器学习模型评估标准、软件和工具,主导开发了对抗攻击检测、模型鲁棒性验证等底层技术,并推动 “零信任 AI 架构” 的落地。Victor Ardulov的工作侧重于引入和规范机器学习的最佳实践,并探索将经过测量的模型测试融入产品的各种方法。
图 2 Neil Serebryany(左)和Victor Ardulov(右)
1.2
融资情况
CalypsoAI作为人工智能安全领域的初创公司,通过多轮融资逐步构建AI防护能力:
A轮融资:
l 融资时间:2020年07月
l 融资金额:1300万美元
l 投资方:8VC,LOCKHEED MARTIN CORP,Frontline Ventures,Paladin Capital Group,Manta Ray Ventures,光速光合,Pallas Ventures
l 融资用途:加速AI治理解决方案的研发升级,强化企业级AI安全防护能力。
A+轮融资:
l 融资时间: 2023年06月
l 融资金额:2300万美元
l 投资方:Paladin Capital Group, LOCKHEED MARTIN CORP,Hakluyt Capital等。
l 融资用途:加快AI治理解决方案的开发进程。
二. 产品介绍
为了帮助网络团队、AI团队发现和应对人工智能中的潜在风险,CalypsoAI创建了一个企业级安全防护层--The Inference Perimeter(推理边界),提供跨模型、跨供应商的大模型推理统一安全防护,无论企业使用何种模型类型(Claude、GPT-4等)、何种模型环境(公有云、私有云、本地部署)、所对应的供应商(OpenAI、Meta等),都能够提供AI安全防护策略。
The Inference Perimeter作为一个统一管理不同AI模型风险的平台,集成了Red-Team、Defend、Observe三大核心模块,形成了具备代理红队、实时防御、自动安全执行功能的AI安全防护体系。
图 3 The Inference Perimeter
2.1
Red-Team
CalypsoAI的Red-Team模块实现针对GenAI(生成式人工智能)的红队策略,旨在通过系统地对抗性测试和压力测试,模拟真实攻击场景,在被攻击者利用之前发现和暴露GenAI系统漏洞。
与当前其他团队的红队策略相比,CalypsoAI列出了以下特点:
1) 代理式对抗(Agentic Warfare):模拟真实对抗性交互,使模型参与动态自适应的对话,挖掘持续交互中会出现的深层次漏洞和隐蔽性风险。
2) 广泛特征攻击(Extensive Signature Attacks):利用10,000多个持续更新的攻击提示库,系统性地测试模型响应中的风险(如提示注入、渐强式攻击等)。
3) 运营攻击(Operational Attacks):从基础设施层面评估和探测整个AI系统中的漏洞,识别服务瘫痪风险、响应延迟漏洞、计算资源浪费型漏洞。
4) 持续评估(Continuous Assessment):建立自动化对抗测试,支持重复性地持续测试,以保持对不断演化的AI模型的持续治理。
图 4 Red-Team用例
2.2
Defend
推理防御 (Inference Defend) 在威胁入侵AI应用之前将其拦截,阻止快速注入、越狱和数据泄露。凭借自适应安全和内容审核功能,该模块在确保AI安全合规的同时,对模型性能不会造成影响。
推理防御模块具有以下特点:
1) 推理层防护(Inference-Layer Focus):在AI模型交互时提供直接防护,实时分析模型的每个输入输出以检测威胁。
2) 定制化控制(Customizable Controls):允许企业根据特定用例、法规要求和创新战略,创建定制化的安全策略。
3) 即时防护(Immediate Protection):预置智能安全扫描引擎,在部署时自动激活,实现AI服务上线与安全防护的零时差并行运作和快速部署。
4) 保护而非阻碍(Protect Not Obstruct):创新「安全弹性调节」机制,灵活调整安全设置,在严守安全底线与激发业务创新之间找到最佳平衡点。
图 5 Defend模块效果演示
2.3
Observe
推理观察 (Inference Observe)为安全团队提供全景式、实时的AI安全态势感知界面,持续跟踪和监控AI模型的使用情况、检测安全漏洞,识别不合规输出带来的法律风险,确保AI系统按照预期运行。
推理观察服务的特点在于:
1) 统一监控与报告(Unified Monitoring & Reporting):实时AI安全洞察与详细日志记录和审计跟踪,为安全团队提供跟踪、调查和缓解风险所需的可见性。
2) 全局仪表盘(Global Dashboards):集中查看AI使用情况和安全事件,确保构建企业级合规。
3) 安全与风险策略(Security & Risk Policies):智能策略校验引擎,实现对于不遵守企业治理规范、法规监管要求和内生安全框架的AI风险应用程序的自动化标记。
4) 无缝集成(Seamless Integration):平滑对接SIEM、SOAR和工单系统,提供企业范围内的可见性,使安全团队能够在其现有工作流程中采取行动。
图 6 Observe模块效果演示
综合来看,CalypsoAI的The Inference Perimeter将红队测试、观察感知和阻断防御三种不同的防护功能集成到了统一平台上,相较于CalypsoAI此前针对生成式AI提示内容安全扫描、模型可信度验证的两款产品Moderator和Vesper Validate,当前的产品线调整可能是为了应对逐步升级的全链路风险管控需求,通过技术整合实现更为全面的解决方案,从而构建起“感知-响应-处置”的安全防护闭环。CalypsoAI当前的安全扫描、不合规行为标记都具备显著的高自动化特征,与客户企业现有工作流无缝对接保障了产品的易用性,其能力也在多次政企合作中得到了证实,凭借多重优势入围2025年RSAC创新沙盒十强,并被评价为“AI安全赛道领跑者”。
然而,从目前产品提供的能力来看,CalypsoAI当前主要覆盖通用安全框架,对一些特殊行业(如医疗、金融)的合规需求与安全防护能力可能需要额外添加相关内容进行适配,因此在垂直领域的合规与安全方面仍有完善空间,生态成熟度也有待进一步提升。另外,尽管CalypsoAI官网强调其安全防护覆盖AI全生命周期,但当前核心产品的技术重心与应用场景主要聚焦于推理层,在AI系统安全威胁的覆盖面上存在一些盲区,例如缺少关于数据准备和处理阶段、模型训练阶段的攻击威胁防护,因而暂时难以满足企业从AI模型开发到应用的全方位端到端安全需求,在安全防护的覆盖范围仍需进一步延伸。
三. 总结
CalypsoAI作为AI安全领域的先驱企业,构建了实时AI安全态势感知,实现了AI应用全链路风险覆盖和动态安全策略调整,具备灵活部署的优势,在自动化合规检查的表现也可圈可点。
面对日益趋严的监管态势,全球企业正逐步将AI系统的安全防护能力和合规性建设纳入企业战略范畴。从对抗攻击防御体系的迭代升级,到全生命周期安全管理平台的搭建,再到合规要求的体系化检查和动态强化落实,AI安全防护领域仍具备广阔的开拓空间。
内容编辑:杨鑫宜
责任编辑:舒 展
参考文献
[1] https://calypsoai.com/inference-platform/
[2] https://news.sohu.com/a/692352784_121649381
[3] https://www.chinaz.com/2023/0628/1537935.shtml
[4] https://contactout.com/Victor-Ardulov-83494640
[5] https://vardulov.github.io/
本公众号原创文章仅代表作者观点,不代表绿盟科技立场。所有原创内容版权均属绿盟科技研究通讯。未经授权,严禁任何媒体以及微信公众号复制、转载、摘编或以其他方式使用,转载须注明来自绿盟科技研究通讯并附上本文链接。
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论,来说两句吧...