目录爆破(爬虫) Crawler

一、简介

整理本人在2021年10月-12月期间写的一些爬虫demo，比如用于渗透测试中SQL注入的URL收集脚本(爬取必应和百度搜索结果的URL)，子域名暴破，各大高校漏洞信息收集爬虫等，以及入门爬虫时写的一些基础代码等

二、项目介绍

1、CrawlerClassCode：爬虫的框架2、edu_vul_search：该脚本用来批量收集Edu_Src的信息3、translator：该脚本调用百度翻译接口，返回响应的json数据4、url_gather：使用该脚本，结合GoogleHack语法，可以快速搜集大量含有漏洞特征的URL，爬取的是baidu & bing的搜索结果，主要用于批量化寻找含有SQL注入的脆弱站点，结合sqlmap & sqlmapapi进行批量化验证。

三、项目地址

项目作者：ggfgh

项目地址：https://github.com/ggfgh/Crawler