ELK-filebeat 配置 input (三)

input 即配置从哪里获取日志

一、input 配置格式

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

filebeat.inputs:
- type: log
  paths:
    - /var/log/system.log
    - /var/log/wifi.log
- type: log
  paths:
    - "/var/log/apache2/*"
  fields:
    apache: true
  fields_under_root: true

可以同时配置多个 input 类型，方便学习可以在配置文件中添加 logging.level: debug

一个事件的 json 数据

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

{
  "@timestamp": "2021-03-17T11:53:54.324Z",
  "@metadata": {
    "beat": "filebeat",
    "type": "doc",
    "version": "6.8.5"
  },
  "tags": [
    "test",
    "ok"
  ],
  "prospector": {
    "type": "log"
  },
  "input": {
    "type": "log"
  },
  "source": "/var/log/test.log",
  "offset": 555,
  "log": {
    "file": {
      "path": "/var/log/test.log"
    }
  },
  "message": "{\"a\": \"2021-03-17 19:53:52\", \"a1\": \"aaaaa\"}",
  "host": {
    "name": "soulchild-temp"
  },
  "beat": {
    "name": "soulchild-temp",
    "hostname": "soulchild-temp",
    "version": "6.8.5"
  }
}

二、input 类型可以是如下内容

• Log
• Stdin
• Redis
• UDP
• Docker
• TCP
• Syslog
• NetFlow

三、不同 input 类型的配置

公共选项

所有 input 均支持以下配置选项。

• enable: 启用或禁用一个 input。true or false
• tags: Filebeat 包含在每个已发布事件的标签字段中的标签列表。使用 tag 可以轻松地在 Kibana 中选择特定事件或在 Logstash 中应用条件过滤。这些 tag 会被附加到 tags 字段中
• fields: 自定义字段，配置如下

1
2
3

fields:
  app_id: 1
  app_name: "test"

• fields_under_root: 如果为 true，自定义字段将会被放置顶层。默认是在 fields 下
• processors: 定义处理器，以便在事件发送到 output 之前对其进行处理
• pipeline: 管道由多个处理器和一个队列组成。为该 input 事件生成管道 ID

1. log

1.1 配置示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

filebeat.inputs:
- type: log 
  paths:
    - /var/log/system.log
    - /var/log/wifi.log
- type: log 
  paths:
    - "/var/log/nginx/*.log"
  fields:
    nginx: true
  fields_under_root: true

1.2 配置选项

• paths: 数组类型。配置日志文件路径。可以使用 /log/*.log,/log/*/*.log

• recursive_glob.enabled: 默认启用。支持路径深度扩展写法。比如 /log/**/*.log，可以代表 /log/*/*.log,/log/*/*/*.log,/log/*/*/*/*.log,/log/*/*/*/*/*.log… 最多能代表 8 级。

• encoding: 日志文件编码格式。plain, latin1, utf-8, big5, gbk 等等

• exclude_lines: 排除日志文件中的某些行。支持正则。

1
2
3
4

filebeat.inputs:
- type: log
  ...
  exclude_lines: ['^DBG', '^INFO']

• include_lines: 只保留日志中的某些行。支持正则，写法同上。include 比 exclude 先执行。
• tail_files: 如果此选项设置为 true，Filebeat 将在每个文件的末尾而不是开头开始读取新文件。如果将此选项与日志轮换结合使用，则可能会跳过新文件中的第一个日志条目。默认设置为 false.
  • 此选项适用于 Filebeat 尚未处理过的文件。如果您以前运行了 Filebeat，并且文件的状态已经持久化，那么将不适用 tail_files。harvester 将在最后记录的偏移处继续进行。要将 tail_files 应用于所有文件，必须停止 Filebeat 并删除注册表文件。请注意，这样做会删除所有以前的状态。注册表文件路径：/var/lib/filebeat/registry

• harvester_buffer_size: 每个 harvester 读取文件时，使用的缓冲区大小。默认是 16384 (字节)。
• max_bytes: 一条日志的最大字节数。大于此大小的日志会被丢弃。此设置对于多行日志很有用，因为多行日志可能会变大。默认值是 10MB (10485760)。
• json: 将日志的每一行作为 json 来解析。json 解码发生在过滤行和多行配置之间，下面是配置示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

# 默认情况下，解码后的json对象会放在json字段下,比如日志是{"log": "test"}字段，在kibana中呈现的就是json.log字段，如果启用此设置将会吧json对象放置顶层，呈现为log字段。默认为false。
json.keys_under_root: true

# 如果keys_under_root被启用，那么在key冲突的情况下，解码后的JSON对象将覆盖Filebeat正常的字段。脏数据可能会导致(Cannot index event publisher.Event报错)
json.overwrite_keys: true

# 如果启用此设置将会添加一个字段"error.message"用来描述json解析出错的信息。还会添加另一对KV："error.type: json"，代表错误类型是json
json.add_error_key: true

# message_key：可选配置，指定要应用 行筛选和多行设置的JSON key。如果指定了该key，则该key必须位于JSON对象的顶级，并且与该key关联的值必须是字符串，否则不会进行筛选或多行聚合。
json.message_key: log 

# 可选配置，如果为false会在filebeat日志中打印出json解析报错信息，默认为false
json.ignore_decoding_error: true

• multiline: 控制 Filebeat 如何处理跨多行日志消息的选项。有关配置多行选项的详细信息，请参阅管理多行消息。https://www.elastic.co/guide/en/beats/filebeat/6.8/multiline-examples.html
• exclude_files: 不收集指定的日志文件，支持正则。例如：exclude_files: [’.gz$']
• ignore_older: 如果启用此选项，则 Filebeat 将忽略在指定的 时间跨度 之前修改的任何文件。可以使用 2h 和 5m 这样的配置。 比如我设置 2m，再我启动 filebeat 的时候，只会收集 2 分钟以内被修改过的文件，2 分钟之前的不会管。ignore_older 必须比 close_inactive 更大。
• close_inactive: 当启用此选项时，如果在指定的持续时间内没有收集到日志，则 Filebeat 将关闭文件句柄。
• close_*: 这个选项用于在特定条件或时间过后关闭 harvester。关闭 harvester 意味着关闭文件处理程序。如果在关闭 harvester 之后更新文件，则在 scan_frequency 过去之后将再次拾取该文件。但是，如果在 harvester 关闭时移动或删除文件，Filebeat 将无法再次拾取该文件，并且 harvester 尚未读取的任何数据都将丢失。
• scan_frequency: Filebeat 多久检查一次收集的路径中的新日志文件。例如，如果您指定 /var/log/*.log，则使用 scan_frequency 指定的频率在目录中扫描文件。不建议将此值设置为 < 1s。