如何将 Fluent Bit 的日志发送到 OpenSearch

0 股票
0
0
0
0

介绍

在本教程中,您将学习如何将安装在运行于 Ubuntu Droplet 上的托管 MongoDB 中的 Fluent Bit 的日志发送到托管的 DigitalOcean OpenSearch 数据库。.

OpenSearch OpenSearch 是一款开源的搜索和分析套件,由 Elasticsearch 和 Kibana 分支而成。它支持实时数据采集、高级搜索和强大的安全性,使其成为电子商务、IT 监控和金融应用的理想之选。OpenSearch 支持 SQL 查询、机器学习和告警等功能,并通过活跃的社区开发持续更新。.

Fluent Bit Fluent Bit 是一款轻量级的开源日志处理器和发送器,用于收集、处理和发送日志数据。它专为实现最佳性能而设计,尤其适用于资源受限的环境,例如容器和边缘计算。Fluent Bit 能够高效地聚合日志并将其发送到多个目标位置,因此在实时日志记录和监控环境中非常受欢迎。.

先决条件

开始之前,请确保您已准备好以下物品:

  • 一个账户 DigitalOcean 拥有以下权限 托管式 OpenSearch.
  • 基础知识 OpenSearchFluent Bit.
  • 访问 OpenSearch 控制面板.

安装 Fluent Bit

Fluent Bit 可以安装在多个平台上。这里我们使用的是 Ubuntu 平台。请在您的 Droplet 终端中运行以下命令:

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

更多信息,请参阅官方文档。.

Fluent 位配置

Fluent Bit 配置文件默认位于指定路径下。 /etc/fluent-bit/fluent-bit.conf 您需要修改此文件才能将日志发送到 OpenSearch。.

流畅位输入

Fluent Bit 提供了一系列输入插件,允许它从各种来源收集日志和事件数据。由于您要发送日志文件中的日志,因此需要使用输入插件。 尾巴 你会用到。.

文件 fluent-bit.conf 更新如下:

[INPUT] name tail Path /var/log/mongodb/mongod.log

要了解有关输入插件的更多信息,您可以参考 Fluent Bit 官方手册。.

Fluent Bit 输出

与输入插件类似,Fluent Bit 也提供了一个输出插件,用于将收集和处理后的日志发送到不同的目标位置。由于我们将把日志发送到 OpenSearch,因此我们将使用 OpenSearch 输出插件。.

[OUTPUT]
Name opensearch
Match *
Host opensearch hostname
port 25060
HTTP_User doadmin #DO Managed OpenSeach username
HTTP_Passwd XXXX #Managed OpenSeach Password
Index mongodb
tls On
Suppress_Type_Name On

有关输出插件的更多信息,请参阅 Fluent Bit 官方手册。.

配置完成后,启动 Fluent Bit 服务:

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

在 OpenSearch 控制面板中访问 MongoDB 日志

  • 前往 DigitalOcean 账户中的 OpenSearch 控制面板。.
  • 使用汉堡菜单图标,点击管理部分的“仪表盘管理”。.
  • 点击“索引模式”,然后选择“创建索引模式”。.
  • 根据文件中使用的名称命名索引模板。 fluent-bit.conf 进入。.
  • 索引模板准备就绪后,您可以从“发现”选项卡查看 MongoDB 日志。.

结果

恭喜!您已成功学习如何使用 Fluent Bit 将自托管的 MongoDB 日志收集并发送到 DigitalOcean 上托管的 OpenSearch 数据库。在本教程中,您学习了如何配置 Fluent Bit 并在 OpenSearch 中创建索引模板,以便有效地监控和分析您的 MongoDB 日志。.

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

您可能也喜欢