RGA的发展要加速我得AI渗透机器人了

最近一直在调教自己的渗透测试机器人，同时也在不断的尝试各个大佬调教的安全机器人，但是总会出现你投喂的资料，它似乎总是会忘记，可以看下面视频的效果，对于小白来说我觉得是可以辅导的。（记得关注我得视频号👇👇，我需要你们这些精神股东）

RCA是否能解决这个问题呢？

什么是RAG？

在大模型中，RAG 通常指的是 Retrieval-Augmented Generation（检索增强生成），这是一种结合了 信息检索 和 生成式模型 的方法，尤其在处理需要依赖大量外部知识库的自然语言处理任务时应用广泛。

说白了就是你给大模型垂直领域的知识库，他来学习并且给我们总结，并将总结后的内容输出给我们。

里面核心的两点就是：

• 检索：在生成文本之前，模型通过一个检索机制从一个外部的知识库、文档集或数据库中查找相关信息
• 生成：检索到相关信息后，生成模型（通常是类似GPT、BERT之类的预训练生成模型）会将这些信息作为上下文，帮助生成更加准确、信息丰富的响应或文本。

为什么需要RAG？

通用大模型投喂和训练的其实都是通用知识，而很多情况下我们在使用大模型的时候，我们需要投喂我们自己行业的知识，比我我得渗透测试Agent就是在通用大模型的基础上，给他了渗透相关的知识库，并且我将这些知识库进行了拆解：

• 信息收集
• 输入输出漏洞
• 业务逻辑
• 框架

有了这些行业内的信息后，它的逻辑变得更清晰更准确的。并且随着我文档的实时更新，它自己也在更新自己的数据库。

RAG基于向量搜索的架构

LLM 在回答问题或生成文本时，先会从大量文档中检索出相关的信息，然后基于这些信息来生成回答。

RAG 方法使得不必为每一个特定的任务重新训练整个大模型，只需要外挂知识库。解决知识更新问题，减少幻觉，具有很好的可解释性。

RAG 模型尤其适合知识密集型的任务。（Knowledge-intensive tasks，在解决问题或完成任务时需要大量专业知识或特定信息的任务）

其他优化方案：

在预训练阶段引入了 CCA 段落交叉注意力模块，让小参数模型达到和大参数模型同等生成效果。

GPT3/ChatGPT 生成前，大部分研究在预训练和微调阶段，GPT3 发布之后更多研究聚焦在生成阶段。

渗透测试大模型

RGA的发展，未来我得渗透测试Agent对我投喂给他的文档理解能力可能会逐渐增强，可能会早日拿出来给大家玩玩。

虽然现在问他些基础知识，工具下载，工具使用，攻击路线等是没有问题的。

但是我截图给他的流量包识别总是会出现这样那样的问题。还得不断地调教。

AI+网络安全相关内容我这我得星球也都有一定程度地更新，有需要地小伙伴抓紧入手了，我又给大家放了优惠卷哦。

ending

一个人走的很快，但一群人才能地的更远。成立了3个月左右，已经有300+的小伙伴了，如果你是网络安全的学生、想转行网络安全行业、需要网安相关的方案、ppt，快加入我们吧。系统性的知识库已经有：++++++