简介

多数公开文档、网站内容都需要对内容进行敏感词过滤（如恐怖色情、政治、暴力言论相关的词汇）。这些词汇也经常被定义为禁用词、违禁词、极限词及限制词。为了介绍方便，下面统一用敏感词表示。

敏感词检测技术可以应用于多个场景，包括社交媒体平台、论坛、聊天室、电子邮件系统等，以确保内容符合相关法律法规和社区标准。通过实时监控和分析用户生成的内容，系统可以自动识别并处理包含敏感词汇的信息，从而有效减少网络欺凌、恶意言论、泄露隐私和其他网络犯罪行为。

因此，敏感词检测技术应运而生，成为保障内容合规的重要手段。主要用到的技术如下：

• 正则匹配：最简单的检测技术，通过正则表达式来匹配待检测内容，检测性能一般，时间复杂度取决于正则表达式数量和复杂度，以及检测的文本长度。
• DFA（确定性有限状态自动机） ：这种方法适用于处理大量规则的匹配，能够快速识别文本中的敏感词汇。下文介绍sensitive-word工具就使用到了此项技术。
• AC自动机：基于KMP算法和Trie树的多模匹配算法，时间复杂度仅取决于文本长度，与敏感词数量无关。
• 机器学习与深度学习：通过训练模型，识别可能包含敏感信息的词汇和句子结构，适用于复杂语境的敏感词检测。

接下来我们介绍几款优秀的敏感词检查工具，除了第一款是开源免费的外，其他均为商用工具，其定价一般为几十美元（约合人民币几百元，相对亲民）。当然，网上也有一些“PJ”版本，大家可按需选择。但如果是企业使用，一定要用正规软件，避免法务风险。

1. sensitive-word（开源）

sensitive-word 是一款基于 DFA 算法实现的高性能敏感词工具，目前敏感词库内容收录 6W+，开源项目已经超过4500个Star。

项目地址：https://github.com/houbb/sensitive-word

主要特性：

• 支持用户自定义敏感词和白名单
• 基于 DFA 算法，性能为 7W+ QPS，应用无感
• 支持敏感词的判断、返回、脱敏等常见操作
• 支持敏感词检测、邮箱检测、网址检测、IP地址检测等
• 可自定义替换策略
• 基于 fluent-api 实现，使用优雅简洁

集成方式：通过坐标引用，可以直接集成到项目中。

2. PowerGREP（商用工具，泰国）

PowerGREP是一款强大的Windows Grep工具，可以快速检索本地文件远程文件，包括文本、二进制、压缩包、Office文档、PDF文档等。可以配置正则表达式进行查找与替换操作全面维护网站，源代码，报告等。

价格：999元。（有30天免费试用期）

集成方式：支持命令行调用

3. VX Search （商用工具，以色列）

基于规则的自动文件搜索工具，支持按文件类型、文件名、大小、位置、扩展名、正则表达式等来搜索文件。

用户可以对结果进行分类和过滤，支持导出报告及将报告导出到数据库。

价格：50$，基础功能免费（如搜索、分类统计）。

官网地址：

https://www.vxsearch.com/

集成方式：支持命令行调用

4. Aba Search and Replace（商用工具，捷克）

Aba Search and Replace是一款很好的搜索/搜索和替换实用程序。精益，易于使用，速度极快（PS：这么说吧，在你的检测内容还没完成输入时，下面已经加载出检索结果了，和everything检索文件名的性能差不多）。

替换多个文件中的文本曾经是一项乏味且容易出错的任务。Aba搜索和替换解决了这个问题，允许用户更正网页上的错误、替换横幅和版权声明、更改方法名称以及执行其他文本处理任务。

官网地址：https://www.abareplace.com/

价格：30$，目前折成人民币约为217元。（有30天免费试用期）

主要特点：

• 增量搜索：当键入要搜索的文本时，结果会立即显示。

• 多行搜索和替换。

• 正则表达式支持，包括环视、非贪婪匹配和其他高级功能。

• 复杂的替换，包括将匹配的文本转换为小写、插入文件名等。

• 可从命令行执行搜索和替换。

集成方式：支持命令行调用