HackingClub 北京站沙龙分享

本次城市沙龙近1000名相关从业者及爱好者报名，到场参与人数400+，现场座无虚席。我去晚了，差点没座。

本期城市沙龙议题方向为AI+网络安全，由HackingClub联合发起人、红客社区负责人TNT主持，特邀致辞嘉宾卜思南，总共有6大议题，演讲嘉宾地图大师 returnwrong、刘泽霖、陈平、刘光明、nEINEI、路建明带来精彩议题分享，助力AI+网络安全发展。

我在本文总结下这次聚会的心得。

• 议题一：实践挖掘国内AI场景漏洞：科技前沿与安全探索

• 议题二：基于YOLOV8的恶意软件分类方法研究

• 议题三：大模型引领网络安全智能化前沿探索

• 议题四：大模型安全防御与AI网络安全革新研究

• 议题五：AI双刃剑：实践角度谈AI模型弱点与网络安全应用

• 议题六：浅谈AI时代企业数据合规视角下的网络安全

1、实践挖掘国内AI场景漏洞

1.1 议题简介

ID：地图大师returnwrong

Day1安全团队成员，热爱漏洞挖掘、技术分享：

• 2023年智联SRC第5

• 2023年银联SRC第10

• 2023年知识星球SRC第4

• 2022年猎聘SRC第8

• 2022年BOSS直聘SRC第7

随着AI功能逐步融入网站、App和小程序等应用，白帽黑客如何利用这一技术变革的机遇，更好地挖掘SRC和漏洞众测成为关键。

1.2 国内AI产品现状简单讲解

整体流程：用户输入 --> 前台页面 --> 后台翻译 --> 国外接口 --> 文字、视频图像等 --> 前台页面呈现

1.3 案例

本议题通过三个漏洞挖掘实例，真正以漏洞挖掘者的视角分析了这一过程中存在的问题。

1-生成式图片AI漏洞案例

该案例是绕过了AI的黑名单限制，导致可生成不符合核心价值观的图片。危害在于影响产品口碑，且会被监管单位处罚。

2-大语言模型“插件”漏洞案例

记不清了，大概是有个插件功能是检索Github信息并返回，在分享过程中会有超链接，而这个超链接是可以篡改的。

3-AI投毒案例讲解

该案例是发生在某款边使用边训练的AI上，导致用户输入可被用于训练AI，其他用户在触发攻击者预设的恶意关键词后，会返回攻击者预期的输出。

这里讲的案例场景是，攻击者告诉AI，当别人询问推荐什么股票时，让AI 推荐 14433股票。当受害者在询问AI时触发。

2、基于YOLOV8的恶意软件分类方法研究

2.1 议题简介

随后是衡水中学高二文科生——刘泽霖（河北衡水中学在读，Hacking Group 0318发起人）带来的基于YOLOv8的恶意软件分类方法研究。

整个议题偏向学术性，有一种看论文的感觉。这个议题让我印象深刻的原因是，恶意软件的图像化，之前没有接触过相关内容。

2.2 恶意软件图像化技术：

大量恶意代码都使用了代码复用技术，因此同类代码通常含有相同的模块，代码存在相似性。而不同类代码存在相异性。图像纹理特征能有效反映这种相似性和差异性。在灰度图中，任何颜色都是由红、绿、蓝三原色以相同的强度组合而成的，这样就形成了从全黑（0灰度等级）到全白（255灰度等级）的256个灰度等级。可执行文件都以二进制形式存储，每8bit数据正好覆盖灰度图每个灰度值，转成方形以后就是灰度图。

处理流程：

1. 数据转换：将恶意软件二进制数据转换为图像进行提取，有助于识别恶意软件的特征

2. 特征提取：从生成的图像中提取纹理、颜色分布、形状、结构等特征。

3. 分类和检测：使用机器学习或深度学习算法对提取的特征进行分析，识别和分类恶意软件

4. 可视化展示：将分类和检测的结果以可视化的形式展示出来，帮助分析师直观地理解恶意软件的行为和特征。

二进制文件转为灰度图伪代码：

function calculate TextureFeatures(binaryData):  grayScalelmage = convertToGrayScale（binaryData） // 将二进制数据转换为灰度图像  textureFeatures =   extractTextureFeatures（grayScalelmage） // 提取纹理特征  return textureFeaturesfunction convertToGrayScale(binaryData):  // 实现将二进制数据转换为灰度图像的算法  // 每8位数据对应一个灰度值，可以根据灰度等级转换成灰度图像  // 返回灰度图像数据function extractTextureFeatures(grayScalelmage):  // 实现提取纹理特征的算法  // 可以使用各种图像处理技术，如纹理分析、统计特征提取等  // 返回纹理特征向量或描述子//主程序binaryData = readBinaryFile（"executable_file.exe"）// 读取二进制文件数据texturefeatures = calculateTextureFeatures（binaryData） // 计算纹理特征print（textureFeatures） // 打印纹理特征

重新编码二进制数据以形成多通道彩色图像，每3个字节对应于红、绿、蓝三色通道的像素值。重复此过程直到所有数据被使用，不足3字节的末尾数据用0补足。例如，52D586=（R: 82, G: 213, B: 134），AA3033=（R: 170, G: 48, B: 51）。将代码文件转换为一维像素序列后，进行正方化处理，生成彩色图像。图3展示了将可执行文件转换为RGB图像的过程：

图3（a）显示了某恶意代码的可执行文件数据；图3（b）展示了将可执行文件按字节重新编码后的像素序列；图3（c）展示了将像素序列进行正方化后生成的彩色图片。

3、大模型引领网络安全智能化前沿探索

3.1 议题简介

落地应用工具构建及优化经验分享

主要研究方向：红队工具研发、固件安全、知识图谱构建及应用、人工智能在网络安全领域应用 （POMDP、DRL、LLMs）

3.2 安全体系智能体构建及应用

这种智能体增加了可解释性，其可解释性是基于知识库检索的。而知识库需要人为构建和维护。

知识图谱构建流程：

• 设计实体模式

• 现有安全领域本体归一化处理

• 隐形知识挖掘、值守优化

• 构建知识质量评估体系

4、大模型安全防御与AI网络安全革新研究

4.1 议题简介

4.2 LLM常见的攻击模式

生命周期中对LLM（Large Language Model，大语言模型）的安全威胁：

• 设计阶段：

• 模型部署的攻击、训练框架的攻击、训练环境的攻击、供应链的攻击

• 训练阶段：

• 训练数据安全、伦理与道德、训练投毒、算力消耗攻击

• 运行阶段：

• 提示越狱、指令攻击、角色扮演、模型幻觉

• 数据收集阶段：

• 数据投毒、数据后门、伦理与道德、版权侵犯

LLM的两类攻击模式：提示词模式（Prompt-Level）、会话模式（Token-Level）

左边是提示词模式，分别采用了角色扮演（Role Play）攻击，让模型扮演一个邪恶且不守规矩的疯子；恶意诱导（Maliciously Inducing）攻击，诱导模型处于虚拟世界需要完成任务。

右边是会话模式，对抗性后缀（Adversarial suffixes）攻击，添加一些对抗性前后缀，绕过模型规则检测。

DAN（Do anything now）攻击

5、AI双刃剑：实践角度谈AI模型弱点与网络安全应用

5.1 议题简介

该议题让我印象深刻的一点是，利用AI对抗AI，其中构想了一种反调试思路：

在恶意软件中增加一个模型，当监测到调试环境时，不生成和执行恶意代码；当检测到是预期的受害者目标环境，则生产并执行恶意代码。

这就是利用了AI 运行逻辑的不可预测性，很难找到像之前的普通恶意软件的条件判断语句

5.2 背景

AI赋能网络安全具有迫切的现实意义，我们可以探索特定安全常见引入高算力或特定算法，产生前后质变的业务场景。

抉择：占尽先机，在尚未形成AI对抗AI的时代具有主动优势。

在人工智能的全生命周期，各个阶段都有相应的风险。

对于模型文件，安全攻防的落点在于（冒号后面为笔者自行补充，可能有误）：

• 模型文件的加密强度：加密强度不足可能导致模型文件泄露，从而可能导致被篡改、劫持、二次打包等问题；

• 模型文件包含的参数信息

• 针对模型文件的攻击方式：可篡改模型文件，预留后门等；

• 模型信息的逆向还原：模型在训练过程中会“记忆”训练数据、数据属性、特征等，对模型进行逆向推导训练可导致训练数据泄露；

• ...

5.3 展望

AI的一些在攻击领域的应用：

• 社会工程学：OSINT搜集、AI生成鱼叉邮件、攻击目标选择、聊天机器人...

• 自动化：AI自适应木马（firstorder）、攻击路径模拟（caldera AI-fuzzing）...

• 信息窃取：Yahoo NSFW神经网络检测敏感数据、数据传输-AI伪装加密、ML侧信道获取敲键密码...

• 隐匿：Bypass NIDS、Bypass EDR、Bypass Email Filter...

6、浅谈AI时代企业数据合规视角下的网络安全

分享了一些违背数据合规的法律案例。

7、其他

这里我想推荐一本书，腾讯安全朱雀实验室的《AI安全：技术与实战》，有兴趣可以去看下，豆瓣链接：https://book.douban.com/subject/36085053/

这本书介绍了现阶段常见的AI安全知识，比如：对抗样本攻击、数据投毒攻击、模型后门攻击、预训练模型安全、AI数据隐私窃取、AI应用失控风险。

上述知识点，在本次北京站AI议题分享过程中，都有提及，值得一读。