引言

在网络安全智能体的研究与应用中，数据查询与分析至关重要。无论是日志分析、威胁情报挖掘，还是入侵检测，快速、高效地从庞大的数据库中提取相关数据是智能体决策的重要环节。近年来，随着自然语言处理（NLP）技术的发展，基于自然语言的 SQL 查询（Text-to-SQL）技术得到了广泛关注。

然而，在网络安全场景下，数据库规模通常较大，表结构复杂，如何高效执行 SQL 查询成为关键问题。

本文介绍 llama-index 库中的两种常见 Text-to-SQL 查询引擎——NLSQLTableQueryEngine 和 SQLTableRetrieverQueryEngine，并探讨它们在网络安全数据查询中的应用与优化策略。

什么是 Text-to-SQL？

Text-to-SQL 是一种利用自然语言处理（NLP）技术将人类用自然语言表达的查询请求转换为 SQL 语句的技术。例如，在一个网络安全日志数据库中，安全分析师可能想要查询过去 24 小时内所有失败的登录尝试。

使用 Text-to-SQL 之后，分析师只需要输入：

“查询过去 24 小时内所有失败的登录尝试。”

系统就会自动生成类似于以下的 SQL 语句：

SELECT * FROM login_attempts WHEREstatus = 'failed'ANDtimestamp >= NOW() - INTERVAL'1 day';

这样，无需掌握 SQL 语法的安全研究人员也能高效查询数据库。

Text-to-SQL 在网络安全智能体中的意义

在实际应用中，网络安全智能体（Security AI Agent）往往需要从庞大的安全数据中提取关键情报，例如检测异常登录、分析恶意行为模式、查询特定时间段的安全事件等。Text-to-SQL 使得智能体可以通过自然语言快速获取数据，无需预设复杂查询规则。

智能体如何使用 Text-to-SQL？

1. 自动化安全日志分析：

• 智能体可以解析安全专家输入的查询，例如“过去 7 天内所有来源 IP 为 X.X.X.X 的失败 SSH 登录尝试”。
• 通过 Text-to-SQL 转换为 SQL 语句，自动查询数据库。

• IDS 产生大量日志，Text-to-SQL 可以让智能体自动分析异常模式，例如“查找过去 24 小时内发生超过 5 次登录失败的用户”。

• 智能体可以自动查询特定攻击者 IP 地址的历史行为模式，辅助溯源。

查询引擎概述

NLSQLTableQueryEngine：适用于少量表查询

NLSQLTableQueryEngine 需要预先指定查询的表。如果数据库中表的数量较多，表结构信息可能超过 LLM（大语言模型）的上下文窗口大小，导致查询效率下降。

SQLTableRetrieverQueryEngine：适用于海量表查询

SQLTableRetrieverQueryEngine 通过表信息召回器（retriever）来自动选择相关表，再生成 SQL 进行查询。这使得它能够支持无限多的表，而不会受限于 LLM 的上下文窗口。

网络安全场景中的应用

在实际网络安全场景中，例如分析日志数据、检测异常行为或进行攻击溯源，数据库往往包含数百张表，涵盖不同类型的安全事件、设备信息、用户行为等。此时，SQLTableRetrieverQueryEngine 能够根据查询内容自动检索相关表，提高查询效率和准确性。

代码示例

以下示例展示如何使用 Text-to-SQL 技术进行自然语言查询。

1. 创建数据库及表

from sqlalchemy import create_engine, MetaData, Table, Column, String, Integerfrom llama_index.core import SQLDatabasefrom llama_index.llms.openai import OpenAIllm = OpenAI(temperature=0.1, model="gpt-4o")engine = create_engine("sqlite:///:memory:")metadata_obj = MetaData()# 创建城市统计表city_stats_table = Table("city_stats",    metadata_obj,    Column("city_name", String(16), primary_key=True),    Column("population", Integer),    Column("country", String(16), nullable=False),)metadata_obj.create_all(engine)# 插入测试数据from sqlalchemy import insertsql_database = SQLDatabase(engine, include_tables=["city_stats"])rows = [    {"city_name": "Toronto", "population": 2930000, "country": "Canada"},    {"city_name": "Tokyo", "population": 13960000, "country": "Japan"},    {"city_name": "Chicago", "population": 2679000, "country": "United States"},    {"city_name": "Seoul", "population": 9776000, "country": "South Korea"},]for row in rows:    stmt = insert(city_stats_table).values(**row)with engine.begin() as connection:        connection.execute(stmt)

2. 使用 NLSQLTableQueryEngine 进行查询

from llama_index.core.query_engine import NLSQLTableQueryEnginequery_engine = NLSQLTableQueryEngine(    sql_database=sql_database, tables=["city_stats"], llm=llm)query_str = "哪个城市的人口最多?"response = query_engine.query(query_str)print(response)

3. 使用 SQLTableRetrieverQueryEngine 进行查询

from llama_index.core.indices.struct_store.sql_query import SQLTableRetrieverQueryEnginefrom llama_index.core.objects import SQLTableNodeMapping, ObjectIndex, SQLTableSchemafrom llama_index.core import VectorStoreIndex# 创建表节点映射与对象索引table_node_mapping = SQLTableNodeMapping(sql_database)table_schema_objs = [SQLTableSchema(table_name="city_stats")]obj_index = ObjectIndex.from_objects(table_schema_objs, table_node_mapping, VectorStoreIndex)# 创建查询引擎query_engine = SQLTableRetrieverQueryEngine(    sql_database, obj_index.as_retriever(similarity_top_k=1))

结论

在网络安全智能体的应用中，数据查询能力直接影响分析效率。对于表较少的数据库，可以使用 NLSQLTableQueryEngine 直接进行查询；而对于表较多、结构复杂的数据库，SQLTableRetrieverQueryEngine 能够提供更灵活高效的查询能力。

结合这些技术，可以构建更加智能、高效的网络安全分析系统，帮助安全研究人员快速获取关键信息，提升威胁检测与响应能力。

学习资源

立即关注【二进制磨剑】公众号