信息收集 最全搜索引擎

大纲

• 语料收集
• Github
• Google
• Shodan
• BinaryEdge
• Censys
• Zoomeye
• FoFa
• Dnsdb
• 知风
• ONYPHE
• GreyNoise
• Thingful
• LeakIX
• spyse
• quake
• netlas

相关文章

• Shodan BinaryEdge ZoomEye 网络空间搜索引擎测评
• 让网络空间测绘技术不再那么飘忽不定
• A Survey on Cyberspace Search Engines
• Offensive OSINT s01e01 - OSINT & RDP
• Quake使用案例——利用高级组合语法拓线发掘某工控系统
• 网络空间测绘溯源技术剖析
• 网络空间测绘理论体系概述

相关工具

• ffffffff0x/ones
• projectdiscovery/uncover

常用搜索接口

https://www.exploit-db.com/search?q=
https://habr.com/en/search/?q=
https://so.csdn.net/so/search/s.do?q=
http://so.51cto.com/?keywords=
https://juejin.im/search?query=&type=all

语料收集

杂项

• haiyangma/dics

人名

• wainshine/Chinese-Names-Corpus - 中文人名语料库。中文姓名,姓氏,名字,称呼,日本人名,翻译人名,英文人名。可用于中文分词、人名实体识别。

地名

• modood/Administrative-divisions-of-China: 中华人民共和国行政区划:省级(省份直辖市自治区)、 地级(城市)、 县级(区县)、 乡级(乡镇街道)、 村级(村委会居委会) ,中国省市区镇村二级三级四级五级联动地址数据 Node.js 爬虫.

黑产 seo 关键词

• fwwdn/sensitive-stop-words - 互联网常用敏感词、停止词词库
• observerss/textfilter - 敏感词过滤的几种实现+某1w词敏感词
• lining0806/TextMining - 敏感词过滤系统
• funNLP/data/敏感词库 - 反动词表、暴恐词表
• IllegalWordsDetection/blob/master/MinGanCi.txt - 敏感词
• Ldundun/DFA/blob/master/sw.txt - 敏感词
• qloog/sensitive_words - 敏感词库整理
• 57ing/Sensitive-word -  收集的一些敏感词汇，细分了暴恐词库、反动词库、民生词库、色情词库、贪腐词库、其他词库等
• bzvs1992/SensitiveWordFilter
• adlered/DangerousSpamWords - 超轻量的中文敏感字、敏感词库，字典词典
• seo_word

Github

相关文章

• Auditing GitHub users’ SSH key quality
• Github搜索语法-信息搜集指南

语法

in:name python

in:name python starts:>3000

in:name python starts:>3000 forks:>200

in:readme python starts:>3000

in:description python starts:>3000

in:description python language:python

in:description python pushed:>2019-12-20

例子

• 敏感信息

  create user identified by
  create user zabbix@'%' identified by
  各单位
  XX市XX局版权所有
  技术支持：xxxx公司
  去github上搜开发公司的客服电话
  

• leaky-repo

• 交流

  内部
  钉钉群
  

监控工具

• BishopFox/GitGot - 快速搜索 GitHub 上公共数据的敏感信息
• UKHomeOffice/repo-security-scanner - 查找意外提交给 git 仓库的秘密的 CLI 工具,例如密码,私钥
• gwen001/github-search - 在GitHub上执行基本搜索的工具。
• eth0izzle/shhgit - 实时的监控 github 寻找敏感信息
• lightless233/geye - 一款面向企业级以及白帽子的"More Fastest" Github监控工具
• Securityautomation/DumpTheGit - 搜索公开的代码仓库, 查找敏感信息
• 4x99/code6 - GitHub 代码泄露监控系统
• zricethezav/gitleaks - 用于检测 git repos 中的硬编码机密，例如密码，api 密钥和令牌
• hahwul/gitls - 从组织/用户中包含的所有公共存储库中提取 URL
• madneal/gshark - Scan for sensitive information easily and effectively.
• trufflesecurity/trufflehog - Find credentials all over the place

• cve-search/git-vuln-finder - 从 git 提交消息中寻找潜在的软件漏洞

同类代码托管网站

in:name python
0

代码搜索网站

in:name python
1

新版github 代码搜索引擎

• GitHub Code Search
• Recon Weekly #2: GitHub Code Search Preview (for Hackers)

Google Hacker语法

案例

• GGvulnz — How I hacked hundreds of companies through Google Groups - 作者描述了如何通过 google group 的搜索结果获得未授权的访问链接
• Google Dorks for Bug Bounty
• How to master Google Hacking (Dorking)

搜索引擎语法

• 包含关键字: intitle:关键字
• 包含多个关键字: allintitle:关键字 关键字2
• 搜索特定类型的文件: 关键字 filetype:扩展名 ,例如 人类简史 filetype:pdf
• 搜索特定网站的内容: 关键字 site:网址
• 排除不想要的结果: 关键字 -排查条件 ,例如搜索 "运动相机",但只想看 GoPro 品牌以外的产品 运动相机 -GoPro
• 双引号的用处:例如: "how to write a code" 如果没有引号,搜索的大部分结果是以 write code 为关键字.包含引号后,会确保将完整的字符串做为期望的检索结果提交给搜索引擎.
• 搜索缓存: cache: +后缀 ，如：cache: regontool.org

搜索语法合集

• Google Hacking Database
• K0rz3n/GoogleHacking-Page
• ullsEye0/google_dork_list

dork工具

• dwisiswant0/go-dork - Go 语言编写的快速 Dork 扫描仪。

例子

• 常见语法

  in:name python
  2

• 漏洞

  in:name python
  3

  搜参数/接口

  in:name python
  4

  找文章

  in:name python
  5

  工控

  in:name python
  6

CSE

• TikTok : https://cse.google.com/cse?cx=011444696387487602669:aqf7d9w73om
• IFTT : https://cse.google.com/cse?cx=000501358716561852263:xzfiqchwcj8
• Google Album archives : https://cse.google.com/cse?cx=006205189065513216365:vp0ly0owiou
• Social media : https://cse.google.com/cse?cx=016621447308871563343:0p9cd3f8p-k
• LinkedIn : https://cse.google.com/cse?cx=000470283453218169915:hcrzdwsiwrc
• Online bookmark sites : https://cse.google.com/cse?cx=005797772976587943970:3tu7im1-rdg
• Forums : https://cse.google.com/cse?cx=002396771074467716933:gkp6fzl_dv0

Shodan

官网

• https://www.shodan.io
• https://beta.shodan.io/ - 和正式版数据量差别较大

手册

• shodan-manual
• Shodan Pentesting Guide

相关文章

• Shodan新手入坑指南：https://www.freebuf.com/sectool/121339.html
• How to Discover MongoDB and Elasticsearch Open Databases：https://habr.com/en/post/443132/
• Shodan新手入坑指南：https://www.freebuf.com/sectool/121339.html
• shodan-manual：https://b404.gitbooks.io/shodan-manual/
• Search Engine Improvements：https://blog.shodan.io/search-engine-improvements/
• 利用shodan搜索公网摄像头：https://mp.weixin.qq.com/s/Ccp2mZdluvlcGKxnC4mTmQ

搜索语法合集

• jakejarvis/awesome-shodan-queries：https://github.com/jakejarvis/awesome-shodan-queries

语法

• https://www.shodan.io/search/filters

in:name python
7

例子

in:name python
8

外部工具/脚本

• Shodan cli

• Shodan Command-Line Interface

• 浏览器插件

• chrome插件：https://chrome.google.com/webstore/detail/shodan/jjalcfnidlmpjhdfepjhjbhnhkbgleap
• firefox插件：https://addons.mozilla.org/en-US/firefox/addon/shodan_io/

• Metasploit

  in:name python
  9

• Client API

• ns3777k/go-shodan - Shodan API client
• shadowscatcher/shodan - yet another Shodan.io client

• 脚本

• random-robbie/My-Shodan-Scripts
• woj-ciech/LeakLooker - 利用 shodan 寻找开放的数据库/服务

其他功能

• ICS Radar - ICS Radar 是 Shodan 的工业控制系统（ICS）设备的 3D 地图。
• Honeypot score - 这个服务叫 Honeypot or not?，这个服务会把 Honeyscore 归属到一个 IP 地址上，也就是成为蜜罐的可能性。
• Shodan 2000 - Sodan 2000 是一个类似 Tron 的界面，可以随机显示一个主机。

icon 图标搜索

• Weaponizing favicon.ico for BugBounties , OSINT and what not
• Shodan的http.favicon.hash语法详解与使用技巧

BinaryEdge

官网

• https://www.binaryedge.io/

语法

• https://docs.binaryedge.io/search/

in:name python starts:>3000
0

例子

in:name python starts:>3000
1

Censys

官网

• https://www.censys.io

例子

in:name python starts:>3000
2

同类搜索引擎

• Spyse：https://spyse.com/search/cert - 扫描完整的数字证书数据库，获取 TLS 和 SSL 证书的相关数据。
• crt.sh：https://crt.sh/ - 证书搜索
• Google Transparency Report：https://transparencyreport.google.com/https/certificates - Google监控的证书透明日志

Zoomeye

官网

• https://www.zoomeye.org/

相关工具

• knownsec/ZoomEye-python
• gyyyy/ZoomEye-go语法

in:name python starts:>3000
3

例子

in:name python starts:>3000
4

ZoomEye工控专题

• https://www.zoomeye.org/topic?id=ics_project

FoFa

官网

• https://fofa.so

相关文章

• 工具的使用 | 网络空间搜索引擎Fofa的简单使用：https://mp.weixin.qq.com/s/2uLSOZHvIX_KLTwpp9sGfA
• 如何成为一个合格的FOFA工程师：https://mp.weixin.qq.com/s/96Ea-dKxtAAYYZsu9kGLQg

相关工具

• FishM4n/Fofa-collect：https://github.com/FishM4n/Fofa-collect
• wgpsec/fofa_viewer：https://github.com/wgpsec/fofa_viewer
• Becivells/iconhash：https://github.com/Becivells/iconhash - fofa shodan favicon.ico hash icon ico 计算器

语法

in:name python starts:>3000
5

例子

in:name python starts:>3000
6

Dnsdb

官网

• https://www.dnsdb.io/

语法

in:name python starts:>3000
7

例子

查询 google.com 的所有 A 记录: google.com type:a

知风

官网

• https://zhifeng.io/monitor

ONYPHE

官网

• https://www.onyphe.io/

GreyNoise

官网

• https://viz.greynoise.io/

Thingful

官网

• https://www.thingful.net/

LeakIX

官网

• https://leakix.net/

spyse

• https://spyse.com/

quake

• https://quake.360.cn/quake/#/index

相关文章

• 巧用Quake发现代理：https://mp.weixin.qq.com/s/cmfc_whg9AZMuWsb0uqy-Q
• 如何用quake搜索到台湾的大屏资产：https://mp.weixin.qq.com/s/dAzos_TlLfEWAJQeSEf3xQ
• 一些内部未公开的小蜜蜜：https://mp.weixin.qq.com/s/afG0YRGG7DuY1IDzNbD6Zw

netlas

• https://app.netlas.io/

HUNTER

• https://hunter.qianxin.com/

零零信安

• https://0.zone/