FileBeat介绍

FileBeat是什么

FileBeat是一款开源的数据采集器，它能够收集、处理、上传各种类型的数据并将它们传输到指定的输出。具有轻量、高效、易扩展等特点，适用于日志文件、系统指标、网络数据和安全数据等场景，尤其是在大数据、安全和系统管理等领域有着广泛的应用。

作为一个轻量级的日志文件采集工具，FileBeat被广泛应用于日志收集、监控和分析等方面。它支持多种数据源和输出目标，能够快速可靠地将数据传输到Elasticsearch、Logstash甚至是Kafka等数据存储或处理平台，同时还能够通过插件或自定义规则对数据进行处理和转换等操作。同时，FileBeat内置了灵活的标准文本格式，可用于自适应复杂结构，方便进行数据解析。

FileBeat是一个非常灵活和高效的数据采集工具，可以帮助用户方便采集、处理和转换数据流。作为一个开源工具，它可以被用作很多数据处理和分析的场景，因此在现在和未来都将会有着重要的作用。

FileBeat的工作原理

FileBeat会作为代理安装要收集日志的服务器上，通过配置input组件区读取日志，对于定位到的每一个日志都会启动 Harvester，用来监视单个文件并且读取其中的内容。

这里的input组件是支持多种类型的，目前常用的支持的有：
- log
- Kafka
- Redis
- MQTT
- TCP
- UDP
- S3
- HTTP

每一个Harvester读取一个日志文件中的内容，并将新日志发送给Pipeline组件，该组件会把这些内容解析成标准的数据结构，并将其传递到Output组件中。

Output组件支持将这些数据传输到不同的目标输出端，包括Elasticsearch、Logstash、Kafak等。

FileBeat的主要组件

除了上图中所标出的input组件和output组件外，整个FileBeat还包含以下重要组件：

• Harvester：当输入类型是文件时，会用来监视单个文件，并读取其中的内容。当输入组件读取到文件时，创建一个harvester，然后将文件中的内容读取出来，进行解析和转化，并将其传输到output组件中。
• Registrar：一个持久化的存储组件，用于管理记录每个文件处理状态，包括偏移量、文件名等信息。当 Filebeat 启动时，会从 Registrar 恢复文件处理状态。
• Prospector：输入组件的管理器，通过prospector可以配置多个input，并将每个input调用相应的harvester组件进行处理，并将处理后的数据传输给pipeline。

Filebeat 的整个生命周期，几个组件共同协作，完成了日志从采集到上报的整个过程。

Input组件

Input组件是FileBeat架构中的一个重要组件，它是用来读取不同格式、不同类型的数据源，将这些数据源的数据采集到FileBeat内部进行处理的组件。例如，FileBeat支持的input包括file、log、stdin、kafka、netflow、s3、zookeeper等。

在FileBeat中，输入数据的读取是通过input组件实现的。当FileBeat启动时，它会创建并启动相应的input插件。这些插件可以被单独配置，可以采用不同的协议和方法读取文件或网络数据。每个input插件可以有多个harvester对象，这些对象用于监视不同的文件或数据流，并为输入组件生成事件。

input组件通过FileBeat的配置文件进行配置。在配置中，可以同时使用多个input组件，FileBeat会在启动后启动这些input组件并监控它们所指定的数据源。在启动和配置input组件时，请确保使用适当的参数来避免在采集和传输大量数据时引起的性能问题。

Output组件

Output组件是FileBeat架构中的另一个重要组件，用于将FileBeat采集到的数据发送到指定的目标位置。它将pipeline管道中的原始数据转换为指定的输出格式，并将其发送到目的地，例如日志文件、ELK（Elasticsearch+Logstash+Kibana）集群、消息队列等。

FileBeat支持多种Output插件，包括文件输出、标准输出、Elasticsearch输出、Logstash输出、Kafka输出等等。

在配置中，可以指定多个output插件。当收到数据时，FileBeat会将数据复制到所有配置的output插件中。这允许将同一数据发送到多个目标位置，或将数据发送到不同格式或结构的目标位置中。

要配置output插件，需要指定插件的类型、地址、端口和API密钥等参数，以及其他插件特定的参数。对于一些网络服务对象，需要配置输出的连接和身份验证信息。

Harvester组件

Harvester组件是FileBeat架构中的一个重要组成部分，它负责监控文件或日志数据流，并将新的行或数据块发送到队列中，以供后续的处理管线处理。Harvester组件使用特定的方法来监测文件系统事件，以检测文件的变化，并尝试取其最新的数据进行处理。

Harvester组件通常会配合Input组件一起使用。在FileBeat启动时，Input组件会打开一个读取的文件，然后创建一个Harvester组件来监听读取文件的事件。当文件发生变化时，Harvester组件会读取文件中新增的数据，转换成标准的数据结构，然后输出给Output组件。