Cómo enviar registros de Fluent Bit a OpenSearch

Introducción

En este tutorial, aprenderá cómo enviar registros desde Fluent Bit instalado en un MongoDB administrado que se ejecuta en un Droplet de Ubuntu a una base de datos DigitalOcean OpenSearch administrada.

Búsqueda abierta Una suite de búsqueda y análisis de código abierto creada mediante la bifurcación de Elasticsearch y Kibana. Admite la ingesta de datos en tiempo real, búsquedas avanzadas y una seguridad robusta, lo que la hace ideal para aplicaciones de comercio electrónico, monitorización de TI y finanzas. Con funciones como compatibilidad con consultas SQL, aprendizaje automático y alertas, OpenSearch se actualiza constantemente gracias al desarrollo activo de la comunidad.

Bit fluido Fluent Bit es un procesador y emisor de registros ligero y de código abierto que recopila, procesa y envía datos de registro. Está diseñado para un rendimiento óptimo y es ideal para entornos con recursos limitados, como contenedores y edge computing. Fluent Bit agrega registros de forma eficiente y los envía a múltiples destinos, lo que lo hace muy popular en entornos de registro y monitorización en tiempo real.

Requisitos previos

Antes de comenzar, asegúrese de tener lo siguiente:

• Una cuenta en DigitalOcean Con acceso a OpenSearch administrado.
• Conocimientos básicos de Búsqueda abierta y Bit fluido.
• Acceso a Panel de control de OpenSearch.

Instalar Fluent Bit

Fluent Bit se puede instalar en múltiples plataformas. En este caso, usamos Ubuntu. Ejecute el siguiente comando en su terminal Droplet:

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

Para obtener más información, puede consultar la documentación oficial.

Configuración de bits fluida

El archivo de configuración de Fluent Bit se encuentra en la ruta de forma predeterminada. /etc/fluent-bit/fluent-bit.conf Debe modificar este archivo para enviar registros a OpenSearch.

Entradas de bits fluidas

Fluent Bit ofrece un conjunto de complementos de entrada que permiten recopilar datos de registros y eventos de diversas fuentes. Dado que se enviarán registros desde archivos de registro, se requiere el complemento de entrada. cola Usted utilizará.

Archivo fluent-bit.conf Actualizar de la siguiente manera:

[INPUT] name tail Path /var/log/mongodb/mongod.log

Para leer más sobre los complementos de entrada, puede consultar el manual oficial de Fluent Bit.

Salidas de bits fluidas

Al igual que los plugins de entrada, Fluent Bit ofrece un plugin de salida que envía los registros recopilados y procesados a varios destinos. Dado que enviaremos los registros a OpenSearch, utilizaremos el plugin de salida de OpenSearch.

[OUTPUT]
Name opensearch
Match *
Host opensearch hostname
port 25060
HTTP_User doadmin #DO Managed OpenSeach username
HTTP_Passwd XXXX #Managed OpenSeach Password
Index mongodb
tls On
Suppress_Type_Name On

Para obtener más información sobre los complementos de salida, consulte el manual oficial de Fluent Bit.

Una vez configurado, inicie el servicio Fluent Bit:

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

Acceda a los registros de MongoDB en el panel de OpenSearch

• Vaya al panel de OpenSearch en su cuenta de DigitalOcean.
• Usando el ícono de hamburguesa, haga clic en “Administración del panel” en la sección de administración.
• Haga clic en “Patrones de índice” y seleccione “Crear patrón de índice”.
• Nombra la plantilla de índice según el nombre utilizado en el archivo. fluent-bit.conf Ingresar.
• Una vez que la plantilla de índice esté lista, puedes ver los registros de MongoDB desde la pestaña “Descubrir”.

Resultado

¡Felicitaciones! Aprendió a usar Fluent Bit para recopilar y enviar registros de MongoDB autoalojados a una base de datos OpenSearch administrada en DigitalOcean. En este tutorial, aprendió a configurar Fluent Bit y a crear una plantilla de índice en OpenSearch para que pueda supervisar y analizar eficazmente sus registros de MongoDB.