议题1：站在黑客的角度，你们认为未来 GPT 可能失控吗？
“我认为大模型失控的可能性是存在的，关键在于我们要如何去降低失控的风险。” 云起无垠COO 王书辉表示，今年年初，马斯克就联合一众科学家，发布了一封公开信，呼吁公众立即停止训练更强大的AI模型。因为，智能涌现的不可预测性与不可控性，让公众感到担忧。
王书辉认为，从算法方面讲，想让大模型变得可控是有一定挑战的，因为它本质上是神经网络，像上下文学习、思维链这些能力是从哪里涌现的还没有确定的结论。但我们知道的是人类的大脑有860亿个神经元，大约6000万亿的连接，让人类拥有了自主的意识，相信在不久的将来，大模型也会到达这个参数量级。也许未来的某一天我们忽然发现身边的AI存在了自主意识，而我们却无法解释，这其实是非常恐怖的事情。所以目前有非常多的科学家都在探究避免模型失控的方法。比如现在学界很火的对齐工程，大家都在围绕间接规范性、可扩展监管，或者是人类反馈强化学习等领域进行研究。
因此，为了避免AI的失控，我们需要对齐工程和其他工作来保障AI系统的目标和行为方式是与人类的价值观和伦理标准保持一致，只有这样才能尽可能地降低未来GPT模型失控的风险。
议题2：如果未来AI失控了，黑客是否会成为救世主？
“最了解你的往往是你的敌人，安全是一个对抗的过程” 云起无垠CEO 沈凯文博士认为，黑客一直在研究AI的安全，是当下最了解AI的群体；所以当模型失控的时候，黑客也是最有可能守护人类的人。此外，就像好莱坞电影一样，每个黑客都有一个拯救世界的梦想。“天下兴亡，匹夫有责” ，如果那一天真的到来，我相信黑客将奋身而起，肩负起拯救众生的使命。
在GEEKCON活动中，云起无垠展示了其在前沿技术领域的最新研究与突破，并与众多参会嘉宾积极探讨了新技术的应用。作为新一代AI赋能软件供应链安全实践者，云起无垠以“让软件更安全，让安全更智能”为企业使命，成立以来，一直专注于网络安全领域的技术研究与创新。创始团队一直秉承着“极客精神”，追崇原创和新奇，走在技术领域的最前端，期望通过自身研究与创新，为行业的发展带来新的思路和突破点。也正如此，云起无垠在此次活动中脱颖而出，荣获了“前沿突破奖”。
为了更好地探索与分享前沿趋势和技术研究内容，云起无垠发起并运营了GPTSecurity知识社区，致力打造成一个汇聚GPT、AIGC和LLM在安全领域应用的知识库，共同推动安全领域智能革命的发展。
（点击跳转）
· GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练 Transformer（GPT）、人工智能生成内容（AIGC）以及大型语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。
· Github地址：https://github.com/mo-xiaoxi/GPTSecurity
添加小云微信加入GPTSecurity群
更多阅读
推荐站内搜索：最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……
还没有评论，来说两句吧...