tenzir-docs

Tenzir 文档导航

面向安全团队的低代码数据管道解决方案

Tenzir 是面向安全团队的数据管道引擎。运行管道以采集、解析、转换和路由安全数据。可在本地或云端部署节点，并通过 Tenzir Platform 管理这些节点。

如何使用本文档

根据问题类型浏览文档：

问题类型	查看位置
“如何……”类任务	指南 — 按任务分类的分步说明
运算符或函数语法	运算符索引 或 函数索引，然后查看对应页面
集成设置（Splunk、Kafka、S3……）	集成 — 各产品的设置说明和管道示例
概念（节点、管道、部署）	说明 — 架构和设计
从头开始学习	教程 — 指导式课程
TQL 语言规则	语言、表达式、语句

回答前，请务必阅读相关页面。优先使用文档中的 TQL 示例，不要自行编造语法。

回答模式

运算符语法问题 — “where 如何工作？” → 阅读 where，解释语法，并展示文档中的 TQL 示例。

集成问题 — “如何将数据发送到 Splunk？” → 阅读 Splunk，提供页面中的管道示例。

任务问题 — “如何解析 syslog？” → 阅读 解析分隔文本 和 read_syslog。结合指南中的方法 和运算符参考文档。

指南

实用的分步说明，帮助你实现特定目标。 想要完成某项任务时，请从这里开始。

开始使用

快速入门

是否被日志、警报和僵化的工具弄得焦头烂额？来认识 Tenzir——助你掌控安全数据的引擎。只需几分钟，你就能按自己的方式采集、转换和丰富数据，并全面掌控整个过程。你将完成以下内容：

Tenzir v6 迁移

本指南介绍如何将旧版 TQL 管道迁移到 Tenzir v6。对于大多数管道，升级只需很少改动：许多管道可以原样运行，其他管道也只需对源和接收端进行少量局部更新。后续章节将帮助你找出确实需要处理的管道，并在不改变数据流意图的情况下完成更新。

安装

本指南介绍如何安装 Tenzir CLI，以便在本地运行管道或部署持久运行的节点。软件包包含两个二进制文件：

创建账户

Tenzir Platform 是用于管理管道和节点的 Web 界面。创建账户即可开始使用：

基本用法

运行管道

你可以通过平台、使用 tenzir 二进制文件在命令行中运行管道，也可以通过配置文件以代码形式运行管道。

管理管道

本指南介绍如何通过应用或 API 控制管道生命周期。管道会经历以下状态：

设置

节点设置

Tenzir Node 用于运行管道。它是一款轻量级服务应用，可部署在本地或云端。

预配节点

预配节点是指在工作区的平台注册一个节点。预配后，你可以下载包含身份验证令牌的配置文件，随后即可部署该节点。

调整节点规格

本指南将帮助你确定 Tenzir 节点所需的 CPU、内存和存储资源。使用下方的计算器，根据你的部署场景获取具体的估算结果。

部署节点

部署节点是指在受支持的运行时中启动节点。主要有两种选择：使用 Docker 容器化部署，或使用适用于 amd64 和 arm64 架构的静态二进制文件进行原生部署。

配置节点

默认节点配置针对大多数常见场景进行了优化。不过，你可以微调设置，以满足特定需求。

配置 TLS

Tenzir 支持传输层安全协议（TLS），用于加密网络连接。你可以在 tenzir.yaml 中集中配置 TLS 设置，使其应用于所有兼容的运算符；也可以根据需要为每个运算符单独设置。

启动 API

节点提供用于以 CRUD 方式管理流水线的 REST API。默认情况下，外部无法访问该 API。只有平台可以通过现有的节点到平台连接在内部访问它。若要直接访问 API，需要配置用于公开该 API 的内置 Web 服务器。

调整性能

本指南介绍影响节点性能的配置选项。你将了解如何调整按需调度、内存使用和吞吐量设置。

平台设置

Tenzir 平台充当 Tenzir 节点集群管理的控制平面。你可以通过其 Web 界面浏览数据、创建流水线和构建仪表板。

在 AWS 上部署

本指南将引导你使用 CloudFormation 在 AWS 上部署 Tenzir Platform Sovereign Edition。该模板会自动设置所有必需的基础设施组件。

选择场景

我们提供了多个平台部署场景示例。请选择最适合你需求的场景。

配置反向代理

本指南介绍如何为 Tenzir 平台配置反向代理。代理会终止 TLS，并将流量路由到以下四个入口：

配置内部服务

本指南介绍如何配置三个 Tenzir 内部服务：UI、Gateway 和 Platform API。你将设置用于控制身份验证、连接性和功能设置的环境变量。

配置身份提供商

身份提供商（IdP）负责处理 Tenzir 平台的身份验证。当你点击 Tenzir UI 中的 Login 按钮时，系统会将你重定向到所选的身份提供商；该提供商会生成一个用于验证你身份的签名令牌。

配置数据库

PostgreSQL 数据库存储平台的内部状态。

配置 Blob 存储

Blob 存储服务用于在平台和节点之间交换文件。它不仅支持从节点下载数据，也支持从浏览器向平台上传文件。

配置密钥存储

Tenzir 平台为每个工作区提供密钥存储。连接到该工作区的所有 Tenzir 节点都可以访问其中的密钥。你可以使用 CLI 或 Web 界面管理密钥，也可以使用外部密钥存储。

运行平台

本指南介绍如何使用 Docker Compose 启动 Tenzir Platform。完成所有服务的配置后，再执行此步骤。

平台管理

管理组织

本指南介绍如何在 Tenzir Platform 中创建、配置和删除组织。你将学习如何通过 Web 界面和 CLI 执行这些任务。

管理组织成员

本指南介绍如何邀请他人加入组织、管理现有成员，以及了解基于角色的权限模型。你将学习如何通过 Web 界面和 CLI 执行这些任务。

管理组织工作区

本指南介绍如何创建、查看和删除属于某个组织的工作区。你将了解个人工作区和组织工作区之间的区别，以及共享工作区的访问控制方式。

配置工作区

平台中的工作区会以逻辑方式对节点、密钥和仪表板进行分组。

配置仪表板

你可以为静态工作区预先定义仪表板。这样，用户访问工作区时即可使用现成的可视化内容。

使用临时节点

临时节点非常适合临时部署或自动扩缩部署。它是一种临时节点，无需预先手动配置；与平台的连接结束后，它便会从工作区中消失。

AI Workbench

通过接入 AI Agent 并使用 Tenzir 的 Agent 技能进行配置，构建自己的 AI Workbench。设置完成后，你可以用它编写 TQL 管道、了解 OCSF 架构、生成解析器并创建数据映射。

使用 Agent 技能

本指南介绍如何安装和管理 Tenzir 的 Agent 技能。你将了解可用的技能、如何全局或按项目添加技能、如何安装单项技能，以及如何保持技能为最新版本。

使用数据

数据采集

本指南概述了 TQL 中的数据采集。你将了解从各种来源摄取数据的不同方法。

读取和监视文件

本指南介绍如何使用 from_file 运算符读取文件并监视目录。你将学习如何读取单个文件、批量处理目录，以及设置实时文件监视。

通过 HTTP 和 API 获取数据

本指南介绍如何使用 from_http 和 to_http 运算符与 HTTP API 交互。你将学习如何发送 GET 请求、发送数据、处理身份验证，以及为大型结果集实现分页。

从消息代理读取数据

本指南介绍如何使用 TQL 从消息代理接收事件。你将学习如何订阅 Apache Kafka（包括 Amazon MSK）、Amazon Kinesis Data Streams、NATS JetStream、基于 AMQP 的代理（如 RabbitMQ）、Amazon SQS 和 Google Cloud Pub/Sub 中的主题和队列。

从数据存储读取数据

本指南介绍如何使用 TQL 从外部数据存储读取数据。你将学习如何读取完整表、将筛选条件下推到 SQL、检查元数据，以及从 MySQL 流式读取新行。

从网络获取数据

本指南介绍如何使用 TQL 直接从网络来源接收数据。你将学习如何监听 TCP 和 UDP 套接字以接收传入数据，以及如何从网络接口捕获原始数据包。

解析

解析分隔文本

本指南介绍如何将文本流解析为结构化事件。你将学习如何按换行符或自定义分隔符拆分字节流，并解析 JSON Lines、CSV、TSV、键值对、Syslog 和 CEF 等基于行的格式。

解析二进制数据

本指南介绍如何将二进制数据格式解析为结构化事件。你将学习如何处理 Parquet 和 Feather 等列式格式、PCAP 格式的数据包捕获、Tenzir 原生的 BITZ 格式，以及压缩数据。

解析字符串字段

本指南介绍如何使用 TQL 的解析函数从字符串字段中提取结构化数据。你将学习如何解析 JSON、YAML、XML、键值对、分隔数据、时间戳，以及 Syslog、CEF、LEEF 和 Windows 事件日志等日志格式。对于自定义格式，Grok 模式可提供灵活的模式匹配。

转换

筛选和选择数据

筛选和选择是处理数据流时的基础操作。本指南介绍如何根据条件筛选事件，以及如何从数据中选择特定字段。

转换值

转换值是数据处理的基础环节。本指南介绍如何在不同数据类型之间进行转换、执行基本计算，以及在事件中处理简单值。

处理字符串

字符串处理对于清理、格式化和转换文本数据至关重要。本指南涵盖 TQL 全面的字符串函数，从简单的大小写转换，到复杂的模式匹配和编码操作。

处理时间

时间是数据分析的基础。无论是分析日志、跟踪事件还是监控系统，你都需要解析时间戳、计算时长并格式化日期。本指南介绍如何在 TQL 中处理时间值。

调整列表结构

列表（数组）包含按顺序排列的值序列。本指南介绍如何处理列表，包括访问元素、排序和切片、转换值以及组合数据结构。

调整记录结构

记录（对象）包含键值对。本指南介绍如何处理记录，包括访问字段、提取键、组合片段以及转换值。

重塑复杂数据

现实世界中的数据很少是扁平的，其中包含嵌套结构、对象数组和深层级信息。本指南介绍重塑复杂数据结构的高级技巧，以满足你的分析需求。

转换数据格式

数据有多种格式。不同格式之间的转换对于集成、导出和互操作至关重要。本指南介绍如何使用 TQL 的打印函数在 JSON、CSV、YAML 和其他常见格式之间转换数据。

屏蔽敏感数据

本指南介绍如何屏蔽 IP 地址、电子邮件地址、账户标识符和凭据等敏感字段。你将学习何时应对值进行匿名化、哈希处理、编辑或部分显示，以及如何组合 TQL 函数，在各个管道中一致地应用这些模式。

规范化

本指南概述了 TQL 中的数据规范化。规范化可将原始、不一致的数据转换为整洁、标准化的格式，以便进行分析、存储和共享。

清理值

本指南介绍如何在将数据映射到架构之前清理并规范化其中的值。你将学习如何处理 null 占位符、规范化哨兵值、修正类型以及提供默认值。

映射到 ASIM

本指南介绍如何在 TQL 中将事件映射到 Microsoft Sentinel Advanced Security Information Model（ASIM）记录。你将学习如何选择 ASIM 架构、填充架构和产品元数据、映射带角色前缀的字段、规范化事件结果，以及保留未映射的源字段。

映射到 CIM

本指南介绍如何在 TQL 中将事件映射到 Splunk Common Information Model（CIM）字段。你将学习如何选择 CIM 数据模型和数据集、应用数据集标签、填充规范化字段、设置 Splunk HEC 元数据，以及保留特定于源的数据。

映射到 ECS

本指南介绍如何在 TQL 中将事件映射到 Elastic Common Schema（ECS）。你将学习如何填充必需的 ECS 字段、选择事件分类值、映射常见网络字段集、保留特定于源的数据，以及为兼容 Elasticsearch 的目标准备记录。

映射到 OCSF

本指南介绍如何在 TQL 中编写 OCSF 映射运算符。你将学习如何按属性组组织映射、处理未映射字段，以及验证输出。本指南假设你已确定目标 OCSF 事件类和配置文件。

映射到 UDM

本指南介绍如何在 TQL 中将事件映射到 Google SecOps Unified Data Model（UDM）记录。你将学习如何选择 UDM 事件类型、填充元数据、将参与者建模为 UDM 名词、转换枚举值，以及保留未映射的源字段。

数据增强

使用查找表

本指南介绍如何在 Tenzir 中使用查找表存储参考数据，并将其应用于 OCSF 事件。如果数据由事件值作为键（例如用户 ID、主机名、IP 地址、子网、文件哈希或云资源 ID），请使用查找表。

使用资产清单进行增强

本指南介绍如何使用查找表中的资产清单数据增强 OCSF 事件。如果你有 CMDB 导出数据、端点清单、DHCP 租约、云清单或网络区段所有权数据，并希望将其纳入 OCSF 事件，请使用此模式。

使用威胁情报进行增强

本指南介绍如何使用查找表中的威胁情报增强 OCSF 事件。如果你要摄取外部源中的入侵指标、信誉评分、恶意软件名称、攻击活动背景或 OSINT，请使用此模式。

使用 AI 增强事件

本指南介绍如何使用 ai::prompt 通过 AI 生成的摘要、分类和注释来增强 OCSF 事件。

执行 Sigma 规则

本指南介绍如何使用 sigma 运算符对已解析的安全遥测数据运行 Sigma 规则。使用此模式可将 Windows Event Logs 和其他规范化记录转换为 Sigma 告警，而无需离开 Tenzir 管道。

优化

切片和抽样数据

处理数据流时，你通常需要控制哪些事件流经管道。本指南介绍如何使用 TQL 运算符切分事件流、抽样数据以及控制事件顺序。

去重事件

deduplicate 运算符提供了强大的机制，可用于移除流水线中的重复事件。

路由

发送到目标位置

本指南将介绍如何使用 TQL 输出运算符将数据发送到各种目标位置。你将了解消息目标位置、数据存储、文件输出模式，以及基于表达式的序列化。

将数据作为服务公开

本指南将介绍如何启动 HTTP 服务，让外部使用者能够访问流水线数据。你将了解如何向 HTTP 客户端流式传输序列化的流水线输出、选择线格式，以及配置连接数限制和 TLS。

拆分和合并数据流

本指南将介绍如何使用 publish 和 subscribe 运算符连接流水线。你将了解如何拆分事件流以进行并行处理，以及如何将多个来源合并到单个流水线中。

使用子流水线分流

本指南将介绍如何使用 each 和 group 将事件流分流到子流水线。你将了解何时为每个事件创建一个子流水线、何时为每个键保留一个子流水线，以及这些运算符与 fork、parallel 和 load_balance 等固定分流运算符有何不同。

对流水线进行负载均衡

本指南将介绍如何使用 load_balance 运算符将事件分发到多个目标位置。你将了解如何将事件路由到多个端点，以实现高可用性和高吞吐量。

分析

聚合事件流

本指南将介绍如何使用 summarize 和 window 聚合事件流。你将了解如何计数、分组、计算统计数据，以及针对流式数据构建有界的事件时间检测。

收集指标

Tenzir 会跟踪有关节点资源使用情况、流水线状态和运行时性能的指标。

边缘存储

导入到节点

运行以 import 输出运算符结尾的流水线，即可导入（或摄取）数据。通过应用或 API 管理流水线时，所有流水线运算符都在节点内运行。使用 CLI 时，至少 import 运算符会在节点内运行。

从节点导出

运行以 export 输入运算符开头的流水线，即可导出（或查询）数据。通过应用或 API 管理流水线时，所有流水线运算符都在节点内运行。使用 CLI 时，至少 export 运算符会在节点内运行。

显示可用架构

编写流水线时，你通常会引用字段名称。如果你不了解数据的结构，可以查询可用架构，即用于描述顶层事件的记录类型。

转换静态数据

本指南将介绍如何转换节点中已存储的数据。你将了解如何应用压缩、管理存储配额，以及运行回溯流水线。

构建

软件包

安装软件包

软件包提供了一种灵活的方式，可将运算符、流水线、上下文和示例组合成一个统一的可部署单元。

创建软件包

本指南将介绍如何从头开始创建软件包。你将了解如何设置目录结构、编写清单、规划可复用的运算符、添加可部署的流水线，以及包含可运行的示例。

测试包

本指南介绍如何为包添加测试。你将学习如何编写测试文件、使用内联输入，以及运行测试框架。

添加操作符

本指南介绍如何为包创建用户定义操作符（UDO）。你将学习如何定义带位置参数和命名参数的操作符，以及如何使用测试框架测试它们。

添加管道

本指南介绍如何为包添加可部署的管道。你将了解管道 frontmatter 选项，以及何时使用管道而非操作符。

添加上下文

本指南介绍如何为包添加丰富化上下文。你将学习如何在清单中定义上下文、填充数据，以及测试上下文交互。

配置输入

本指南介绍如何通过输入让包可配置。你将学习如何定义输入变量、使用模板语法，以及在安装期间提供值。

维护变更日志

本指南介绍如何管理变更日志条目，以及使用 tenzir-ship 发布版本。你将了解从添加第一条记录到在 GitHub 上发布版本的完整工作流。

发布包

本指南介绍如何发布包。你将学习如何为 Tenzir 社区库贡献内容，以及如何设置带自动化测试的自有包仓库。

测试

运行测试

本指南介绍如何使用 tenzir-test 框架运行现有集成测试。你将学习如何执行测试套件、控制输出详细程度、选择特定测试、处理不稳定场景，以及运行多项目设置。

编写测试

本指南介绍如何使用 tenzir-test 框架创建集成测试。你将设置独立仓库、编写测试场景，并记录参考输出，以验证管道是否按预期运行。如果你已经有测试并想运行它们，请参阅运行测试指南。

运行夹具

本指南介绍如何在独立模式下启动夹具，而不运行测试。你将学习如何使用 --fixture CLI 选项启动受管理的服务、检查它们的环境变量，并妥善清理。

创建夹具

本指南介绍如何创建夹具、将其接入测试框架，并在测试中使用。本指南将以构建 HTTP 回显服务器为示例，然后介绍如何在多个套件间共享夹具、处理缺失的依赖项、管理容器、添加结构化选项，以及使用夹具断言验证测试行为。

添加自定义运行器

运行器会告诉 tenzir-test 如何执行发现的文件。本指南介绍如何从示例项目注册 XXD 运行器，以便使用 xxd 转储二进制制品的十六进制表示并进行比较。

配置项目钩子

本指南介绍如何配置 tenzir-test 项目钩子，以执行与测试相关的设置和清理任务。你将学习如何在发现测试前选择本地 Tenzir 二进制文件、设置项目范围的环境变量，以及收集失败测试的制品。

贡献

贡献指南

行为准则

Git 和 GitHub 工作流

下图展示了我们的分支模型：

文档

Tenzir 文档的源代码位于 https://github.com/tenzir/docs。我们使用 Astro 和 Starlight 作为站点框架。

安全策略

安全对我们来说至关重要。我们希望确保并维护客户和开源社区的安全环境。

开发

设置语法高亮

本指南介绍如何在编辑器中设置 TQL 语法高亮和语言检测。你将获得 .tql 文件的颜色显示和基本语言支持。

从源代码构建

Tenzir 使用 CMake 作为构建系统，并使用 C++23 编译器。

编写节点插件

本指南介绍如何通过编写 C++ 插件，使用自定义运算符、格式或连接器扩展 Tenzir。实现过程需要以下步骤：

教程

以学习为导向的课程，带你逐步完成一系列操作。 想要开始使用 Tenzir 时，可以从这里入手。

基础知识

学习地道的 TQL

本教程教你编写清晰、高效且易于维护的 TQL。教程假设你已了解基本的 TQL 语法和运算符，并将介绍经验丰富的 TQL 开发者如何处理常见模式。

编写一个包

本教程将介绍包如何打包管道、运算符、上下文和示例。你将为 SSL 黑名单构建一个包，用于检测恶意证书。之后，你可以从 Tenzir Library 安装包，也可以将其作为代码部署。

将数据映射到 OCSF

本教程将介绍如何将事件映射到开放网络安全架构框架（OCSF）。我们将通过网络监控器事件示例，展示如何使用 Tenzir 管道将事件转换为符合 OCSF 规范的事件。

分析

使用图表绘制数据

本教程将介绍如何使用管道将数据绘制成图表。

说明

对高层概念的宏观说明。 想要深入了解某个主题，可以从这里入手。

架构

部署

本页介绍 Tenzir 的部署架构。该架构通过分层设计，将数据处理与管理分离。以下三种主要抽象协同工作：

管道

Tenzir 管道是由运算符组成的链，用于表示数据流。运算符是生成、转换或使用数据的基本构件。可以把它们看作 Unix 或 Powershell 命令，其中一个命令的结果会传递给下一个命令：

节点

节点是管理和执行管道的运行进程。

平台

平台为节点提供集群管理。通过 API 和 Web 界面，平台提供用户和工作区管理、通过外部身份提供商（IdP）进行身份验证，以及由管道驱动的图表组成的仪表板。

语言

Tenzir 查询语言（TQL）是一种数据流语言，旨在处理非结构化字节流和半结构化事件。

概念

配置

本页介绍如何配置 Tenzir CLI 和 Node。配置分为四层，按优先级排序：

机密信息

运算符接受机密信息作为参数，用于传递敏感值，例如身份验证令牌、密码甚至 URL。

丰富上下文

丰富上下文是指向事件添加上下文数据。添加这些上下文的目的是帮助做出更好的决策，例如，对警报进行分类并排除误报，利用国家信息将登录归类为恶意行为，或标记发现的失陷指标。

软件包

本页介绍软件包如何将管道、算子、上下文和示例打包成可部署单元。你将了解软件包设计原则，以及各组件如何协同工作。

帮助

术语表

本页定义 Tenzir 生态系统中的核心术语。

常见问题

本页解答有关 Tenzir 的常见问题。

参考

Tenzir 工作方式的详细技术说明。 需要了解构建块的详细信息时，请从这里开始。

语言（TQL）

类型系统

本页介绍 TQL 的类型系统，它支持强类型和自动推断。无需显式声明即可获得类型安全。主要特性包括：

表达式

表达式构成 TQL 的计算核心，范围从简单的字面量到复杂的求值。

语句

TQL 程序由一系列语句组成。算子语句对数据流执行各种操作。每个算子语句都可以视为一个处理数据的模块化单元，并可与其他算子组合以创建复杂的数据流。

程序

TQL 程序将语句组合成可执行的完整数据处理工作流。有效的 TQL 程序须遵守以下规则：

算子

Tenzir 内置了丰富的管道算子。

函数

函数出现在表达式中，接受位置参数和/或命名参数，并根据计算结果生成一个值。

工具

测试框架

tenzir-test 测试工具会发现并运行针对管道、测试夹具和自定义运行器的集成测试。本页可作为概念、配置和 CLI 详细信息的参考。分步指南请参阅运行测试、编写测试、创建测试夹具、添加自定义运行器和配置项目钩子的指南。

发布框架

tenzir-ship 通过自动化发布工程帮助你更快地发布。管理变更日志、生成发布说明并发布 GitHub 版本。本页可作为概念、配置和 CLI 详细信息的参考。分步指南请参阅维护变更日志的指南。

身份验证

AWS 身份验证

Tenzir 的 AWS 算子通过 AWS SDK 的默认凭证链、OIDC Web 身份令牌或静态凭证进行 AWS 身份验证。本页介绍 from_s3、to_s3、from_sqs、to_sqs、from_amazon_cloudwatch、to_amazon_cloudwatch、from_kafka 和 to_kafka 共用的 aws_iam 选项。

节点索引

• 节点配置
• Helm 图表

平台索引

• 平台命令行界面
• 平台配置

索引

按类别查看完整的算子列表，请阅读算子索引。

按类别查看完整的函数列表，请阅读函数索引。

集成

适用于安全工具的即用型软件包和原生连接器。 从这里开始，将 Tenzir 连接到 Splunk、Elastic、CrowdStrike 等。

云服务提供商

Amazon

Tenzir 可在 Amazon Web Services（AWS）上原生运行，并连接到安全团队日常依赖的 AWS 服务。通过托管 Kafka 流式传输事件，在 S3 中存储和回放事件，将其以 OCSF 格式发送到 CloudWatch 或 Amazon Security Lake，并从 SQS 拉取消息——全部通过同一种管道语言完成，直接使用 AWS SDK，并提供一流的 IAM 集成。

CloudWatch

Amazon CloudWatch 是 AWS 中的监控与可观测性服务。Tenzir 可以通过 from_amazon_cloudwatch 读取 CloudWatch 事件，并通过 to_amazon_cloudwatch 写入事件。

Kinesis

Amazon Kinesis Data Streams 是 AWS 上的托管流式数据服务。

MSK

Amazon Managed Streaming for Apache Kafka（Amazon MSK）是 AWS 上的托管 Kafka 服务。它负责基础设施和运维，让用户无需成为 Kafka 专家，也能更轻松地运行 Kafka 应用和 Kafka Connect 连接器。

S3

Amazon Simple Storage Service（S3）是一种对象存储服务。Tenzir 可以像使用本地文件系统一样使用它来读取和写入文件。

Security Lake

Amazon Security Lake 是 AWS 上的托管安全数据湖。它以 Open Cybersecurity Schema Framework（OCSF）格式收集和存储安全数据。

SQS

Amazon Simple Queue Service（SQS）是 AWS 上的托管消息队列。它支持微服务、分布式系统和无服务器应用。

Google

Cloud Logging

Google Cloud Logging 是 Google 的日志管理解决方案。Tenzir 可以向 Google Cloud Logging 发送事件。

Cloud Storage

Cloud Storage 是 Google 的对象存储服务。Tenzir 可以像使用本地文件系统一样使用它来读取和写入文件。

Cloud Pub/Sub

Google Cloud Pub/Sub 可接收事件，并将其流式传输到 BigQuery、数据湖或运营数据库。Tenzir 可以充当发布者，向主题发送消息；也可以充当订阅者，从订阅中接收消息。

SecOps

Google Security Operations（SecOps）是 Google 的安全运营平台。Tenzir 可以使用 Chronicle 导入 API 向 Google SecOps 发送原始日志、UDM 事件和实体记录。

Microsoft

Azure Blob Storage

Azure Blob Storage 是 Azure 的对象存储服务。Tenzir 可以像使用本地文件系统一样使用它来读取和写入文件。

Azure Event Hubs

Azure Event Hubs 是实时事件接收服务。它每秒可接收和处理数百万个事件，并提供 Kafka 端点，以便将 Microsoft 服务中的数据流式传输到 Tenzir。

Defender

Microsoft Defender 可提供威胁防护、检测、调查和响应功能。Defender 有多个版本：Defender for Office 365、Defender for Endpoint、Defender for IoT、Defender for Identity 和 Defender for Cloud。所有 Defender 产品都可以通过 Azure Event Hubs 将事件实时流式传输到 Tenzir。

Graph

Microsoft Graph 是 Microsoft 365、Microsoft Entra ID 和其他 Microsoft 云服务的统一 API。

Microsoft SQL Server

Microsoft SQL Server 是一种关系型数据库管理系统。Tenzir 可以从 SQL Server 和 Azure SQL Database 读取事件。

Sentinel 与 Log Analytics

将安全日志和事件从 Tenzir 发送到 Microsoft 的 Log Analytics 平台。你可以使用 Microsoft Sentinel 分析这些数据，使用 Azure Monitor 创建警报，或使用 KQL 查询。要通过 Microsoft Graph 读取 Microsoft Entra 和 Microsoft 365 数据，请改用 Graph。

Windows 事件日志

Windows 事件日志记录 Windows 上的系统、安全和应用程序事件。你可以将这些日志收集到 Tenzir 中，用于监控、故障排查和分析。

消息传递

AMQP

高级消息队列协议（AMQP）是一种开放的消息中间件标准。它定义了生产者、交换机、队列和消费者如何在系统之间路由消息。

Fluent Bit

Fluent Bit 是一个开源可观测性管道。Tenzir 内嵌了 Fluent Bit，通过 from_fluent_bit 暴露其所有输入，通过 to_fluent_bit 暴露其所有输出。

Kafka

Apache Kafka 是一个分布式开源消息代理。Tenzir 集成支持向主题发布消息（发送消息）或订阅主题（接收消息）。

NATS

NATS 是一种适用于服务、边缘部署和云原生应用的消息传递系统。Tenzir 集成了 NATS JetStream，可从主题消费消息，也可向主题发布事件。

ZeroMQ

ZeroMQ（0mq）是一个轻量级消息传递框架，提供多种套接字类型。Tenzir 支持向 PUB 套接字写入数据，以及从 SUB 套接字读取数据，两者均支持绑定模式和连接模式。

协议

文件

Tenzir 可以读取和写入本地文件、云对象存储、标准输入、标准输出和标准错误。

FTP

Tenzir 支持文件传输协议（FTP），可下载和上传文件。使用 from_ftp 下载字节并通过子管道解析，使用 to_ftp 通过子管道输出事件并上传结果。

HTTP

HTTP 是 Web 数据交换的基础。Tenzir 提供用于处理 HTTP 通信各个环节的算子：从 API 获取数据、向 Webhook 发送事件、向客户端流式传输管道输出，以及接收传入请求。

网络接口

Tenzir 支持从网络接口卡（NIC）捕获数据包。

Syslog

Tenzir 支持解析来自 UDP 和 TCP 等传输协议的 Syslog 消息，并输出 Syslog 格式的字节流。这使其能够与基于 Syslog 的系统无缝集成，以导入或导出日志。

TCP

传输控制协议（TCP）通过 IP 提供双向字节流。Tenzir 提供用于处理 TCP 通信两端的算子：连接到远程端点、接受传入连接，以及向已连接的客户端提供数据。

UDP

用户数据报协议（UDP）是一种无连接协议，用于在 IP 网络上发送消息。Tenzir 支持读写 UDP 套接字，既支持服务器（监听）模式，也支持客户端（连接）模式。

数据工具

ClickHouse

本页介绍如何在 Tenzir 管道中使用 ClickHouse 作为分析存储：使用 to_clickhouse 将规范化的安全遥测数据写入 ClickHouse，并使用 from_clickhouse 将表或 SQL 查询结果读回 Tenzir。

Elasticsearch

Elasticsearch 是一套面向非结构化数据的搜索和可观测性工具。Tenzir 可以向 Elasticsearch 发送事件，并模拟兼容 Elasticsearch 的 Bulk API 端点。

MySQL

MySQL 是一种开源关系型数据库管理系统，广泛用于 Web 应用、数据仓库和企业应用。

OpenSearch

OpenSearch 是一套用于非结构化数据的搜索和可观测性工具集。Tenzir 可以向 OpenSearch 发送事件，并模拟兼容 OpenSearch 的 Bulk API 端点。

Prometheus

Prometheus 是一个开源监控系统和时序数据库。Tenzir 可以向兼容 Prometheus Remote Write 的接收端发送指标事件，包括 Prometheus、Grafana Mimir、Cortex、Thanos Receive 和 VictoriaMetrics。

Snowflake

Snowflake 是一个多云数据仓库。Tenzir 可以将工作流中的事件发送到 Snowflake 数据库。

Splunk

Splunk 是一种用于存储和处理日志的 SIEM 解决方案。Tenzir 可以通过 HEC 向 Splunk 发送数据。

安全工具

ArcSight

OpenText ArcSight 是一个 SIEM 和日志管理生态系统。Tenzir 通过 CEF、Syslog、Kafka 和 ArcSight Logger REST API 等开放接口与 ArcSight 集成。

CrowdStrike

本页面介绍如何将 Tenzir 中的事件发送到 CrowdStrike Falcon Next-Gen SIEM，以及如何通过 Amazon SQS 和 Amazon S3 将 CrowdStrike Falcon Data Replicator (FDR) 事件采集到 Tenzir。

Graylog

Graylog 是一个日志管理和 SIEM 平台，可通过输入、流、处理工作流、索引集、目标和输出路由消息。Tenzir 可以接收来自 Graylog 的 GELF 流、向 Graylog 输入发送 GELF，并在需要执行后端级查询时访问 OpenSearch 或 Elasticsearch 搜索后端。

SentinelOne Data Lake

SentinelOne 是一个提供端点防护和威胁检测的网络安全平台。SentinelOne Singularity Data Lake 可让你大规模存储和分析安全事件。Tenzir 通过其 REST API 与 SentinelOne Data Lake 提供双向集成。

Suricata

Suricata 是一种网络监控工具，具有用于检测威胁的规则匹配引擎。使用 Tenzir 获取、处理和存储 Suricata 日志。

Velociraptor

Velociraptor 是一种用于检查端点的数字取证与事件响应（DFIR）工具。

Wazuh

Wazuh 是一个开源 XDR 和 SIEM 平台。Tenzir 可以通过 Syslog 将事件转发到 Wazuh，并通过 Wazuh indexer API 查询 Wazuh 告警。

Zeek

Zeek 网络监控工具可将原始数据包转换为结构化日志。Tenzir 支持多种 Zeek 用例，例如持续采集、临时处理日志文件，甚至生成 Zeek 日志。

Zscaler

Zscaler 的 Nanolog Streaming Service (NSS) 会将 Zscaler 日志流式传输到外部系统。你可以使用 Zscaler 的 Cloud NSS，也可以部署本地 NSS 服务；这两种情况下，Tenzir 都能接收日志。