DevKit系列1 - 可靠的 HTML 富文本过滤器 - 新鲜讯息

0x00 前言

许久以前接到一个需求，实现一个 HTML 富文本过滤的基础库。这个需求在其它语言实现中有许多久经考验的开源库，比如 NodeJS 有 DOMPurify ，但在 Go 中却异常尴尬，没有一个合适的、久经考验的 HTML 富文本过滤库。即使运气好找到了一个，也很难保证这个库是安全可靠的。思来想去，还是决定自己做一套性能扛得住、安全可靠的 Go 语言实现。

0x01 原理

咱们的目标是做一套性能扛得住、安全可靠的 Go 语言实现，其核心关键词是性能和安全：

出于安全考虑，这里不能轻易地使用第三方的 DOM 解析库（毕竟也不知道靠不靠谱），最为稳妥的办法是做一个 HTML 的最小语义支持，不管输入如何，这个库只支持它认为正常的HTML 语法。
要满足性能需求，算法复杂度不宜太高，最好是线性扫描

所以最终决定使用 DFA（确定有限状态自动机）从 0 构建一个 HTML 解析器。

实现具体的 DFA 之前，我们需要先把整个状态机的实现勾勒出来，避免写代码的时候一头雾水。因此，我们按照设想的 “HTML 的最小语义支持”，画了下面这张状态图。

0x02 实现

安全标签+安全属性

状态机画出来后，还需要总结出所有的安全标签+安全属性。安全标签这个概念比较好理解，类似与 <script> 这种可以造成 XSS 的标签，肯定不属于安全标签。类似的，onerror 这类属性，肯定也不属于安全属性。最终我们梳理出了这么一份安全标签+安全属性列表 (https://github.com/SYM01/htmlsanitizer/blob/ba260fbd09d62fb76ca02de647ec9e3aa4e3c545/tags.go#L134-L222)。

在白名单中，我们还将安全属性的定义划分为两种，一种是普通属性（Attr），如 colspan, rowspan 这种人畜无害的属性；另外一种则是 URL 属性（URLAttr），如 src, href 这种在特定场景下有危害的场景。

一个实际的例子如下，这种情况下是有 XSS 问题的。

<a href="jav&#x09;ascript:alert('XSS');">Click Me!</a>

因此，这类 URL 属性（URLAttr）需要进行特殊处理。目前的默认的处理机制为，对这些 URL 进行解析，一旦解析失败，或者解析后的 schema 不为 http / https ，则认为存在问题，不予输出。

状态机实现

安全标签+安全属性列表、状态机就绪后，实现上就相对粗暴简单了，使用一个 swtich 语句完成状态间的转移即可，如下面的代码片段所示：

func (w *writer) Write(p []byte) (n int, err error) {
// reset data
w.data = p
w.off = 0

for err == nil && w.off < len(p) {
switch w.state {
case sNORMAL:
err = w.sNORMAL()
case sLTSIGN:
err = w.sLTSIGN()
case sTAGNAME:
err = w.sTAGNAME()
// ...
case sATTRNAME:
err = w.sATTRNAME()
// ...
case sATTRVAL:
err = w.sATTRVAL()
case sVALSPACE:
err = w.sVALSPACE()
case sATTRQVAL:
err = w.sATTRQVAL()
// ...
default:
panic("unknown state")
}
}

n = w.off
return
}