喜讯！云起无垠获评GEEKCON 2023前沿突破奖

近日，“GEEKCON 2023”中国站的比赛在上海西岸艺术中心成功举办。这场活动围绕着人工智能与专业安全的前沿技术展开了深入的探讨和实践活动。本次活动特设五大系列专场：“对抗研判 AVSS挑战赛”、“深蓝洞察之特别披露”、“年度主题大碰撞：GPT与黑客”、“漏洞与利用 DAF挑战赛”、“15+5深度分享”。在“年度主题大碰撞：GPT与黑客”的思辨活动中，云起无垠凭借其前沿技术能力，荣获了“前沿突破奖”，这充分展示了公司在此领域的技术实力，并得到业内专家的极大认可。

GEEKCON·新极棒作为国际前沿安全极客技术活动平台，由中国 TOP 1 安全极客 IP GeekPwn革新升级而来，主要聚焦于安全对抗，以提升白帽价值，推动产业进步。

GeekPwn 最早举办人工智能安全对抗赛 CAAD 时，就有种乐观的想法：如果有一天 AI 发展失控进而威胁人类正常生活运转，那么黑客大概就是那个“救世主”。因为“人工智能之父”图灵曾经也是一名黑客，AI 的生与死，或许都会和黑客有关。而GPT的横空出世，使其开始动摇最初的想法：会不会“GPT 才是黑客，而我们人类是 BUG”？正因如此，今年GEEKCON年度大会针对“GPT与黑客”展开了一次脑洞大开的思辨活动，并邀请了云起无垠、蚂蚁光年实验室、深信服千里目共同探讨GPT带来的价值与威胁。

议题1：站在黑客的角度，你们认为未来 GPT 可能失控吗？

“我认为大模型失控的可能性是存在的，关键在于我们要如何去降低失控的风险。” 云起无垠COO 王书辉表示，今年年初，马斯克就联合一众科学家，发布了一封公开信，呼吁公众立即停止训练更强大的AI模型。因为，智能涌现的不可预测性与不可控性，让公众感到担忧。

王书辉认为，从算法方面讲，想让大模型变得可控是有一定挑战的，因为它本质上是神经网络，像上下文学习、思维链这些能力是从哪里涌现的还没有确定的结论。但我们知道的是人类的大脑有860亿个神经元，大约6000万亿的连接，让人类拥有了自主的意识，相信在不久的将来，大模型也会到达这个参数量级。也许未来的某一天我们忽然发现身边的AI存在了自主意识，而我们却无法解释，这其实是非常恐怖的事情。所以目前有非常多的科学家都在探究避免模型失控的方法。比如现在学界很火的对齐工程，大家都在围绕间接规范性、可扩展监管，或者是人类反馈强化学习等领域进行研究。

因此，为了避免AI的失控，我们需要对齐工程和其他工作来保障AI系统的目标和行为方式是与人类的价值观和伦理标准保持一致，只有这样才能尽可能地降低未来GPT模型失控的风险。

议题2：如果未来AI失控了，黑客是否会成为救世主？

“最了解你的往往是你的敌人，安全是一个对抗的过程” 云起无垠CEO 沈凯文博士认为，黑客一直在研究AI的安全，是当下最了解AI的群体；所以当模型失控的时候，黑客也是最有可能守护人类的人。此外，就像好莱坞电影一样，每个黑客都有一个拯救世界的梦想。“天下兴亡，匹夫有责” ，如果那一天真的到来，我相信黑客将奋身而起，肩负起拯救众生的使命。

除了振奋人心的辩论环节，云起无垠云腾实验室负责人程黄胜（w8ay）还从GPT模型的训练、AI漏洞挖掘与修复以及红队大模型的研究实践等方面在大会上展开了精彩分享。程黄胜表示，早期的漏洞挖掘通常以人工审计或者规则扫描等手段为主，而随着人工智能技术的不断发展，现阶段已经可以利用机器学习等手段进行智能化的漏洞挖掘。通过将AIGC与模糊测试相融合，云起无垠微调的无极安全大模型可以很好地了解被测程序的语义、参数、函数接口等。有了这些信息，该模型就可以自动化地生成测试驱动，并调度模糊测试引擎源源不断地生成高质量测试数据。大模型技术的融入，无疑让模糊测试的自动化、检测效率与测试覆盖度有了质的飞跃。通过实践，云起无垠已发现了数百高危漏洞。

除了漏洞检测方面，云起无垠也在积极探索使用无极安全大模型完成漏洞修复任务。程黄胜表示，过去，使用传统的静态代码分析工具来识别软件中的安全漏洞，主要通过检查已知规则来定位问题代码行，给出简单的修改意见，如添加某个检查点或更改API调用参数等。虽然这种方法能够直接定位问题并指出问题代码，但是它缺乏更深层次的诊断意见，无法提供修复代码的整体思路。现在，通过利用代码模型对代码上下文和流程进行分析，我们可以给出更完整且合理的修改方案与缺陷修复代码。

同时，云腾实验室还将微调后的大模型应用于红队场景。不断探索其在不同安全指令下的潜力。

在GEEKCON活动中，云起无垠展示了其在前沿技术领域的最新研究与突破，并与众多参会嘉宾积极探讨了新技术的应用。作为新一代AI赋能软件供应链安全实践者，云起无垠以“让软件更安全，让安全更智能”为企业使命，成立以来，一直专注于网络安全领域的技术研究与创新。创始团队一直秉承着“极客精神”，追崇原创和新奇，走在技术领域的最前端，期望通过自身研究与创新，为行业的发展带来新的思路和突破点。也正如此，云起无垠在此次活动中脱颖而出，荣获了“前沿突破奖”。

未来，云起无垠将继续专注于技术研究和创新，致力于构建更完善的产品解决方案，以帮助行业解决更多的安全威胁问题，为产业发展贡献我们的力量。

为了更好地探索与分享前沿趋势和技术研究内容，云起无垠发起并运营了GPTSecurity知识社区，致力打造成一个汇聚GPT、AIGC和LLM在安全领域应用的知识库，共同推动安全领域智能革命的发展。

（点击跳转）

· GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。

· Github地址：https://github.com/mo-xiaoxi/GPTSecurity

添加小云微信加入GPTSecurity群

更多阅读