Cómo enviar registros de Python a OpenSearch usando FluentBit

Introducción

Una gestión eficiente de registros es esencial para la monitorización y el mantenimiento de aplicaciones en el mundo actual, impulsado por los datos. OpenSearch, un motor de búsqueda y análisis de código abierto, ofrece potentes capacidades de recopilación y análisis de registros. Al combinarlo con FluentBit, un emisor de registros ligero, podemos enviar registros de Python a OpenSearch para su monitorización y análisis en tiempo real. Esta guía le guiará en la configuración de esta potente combinación.

Esta configuración es beneficiosa para desarrolladores y administradores de sistemas que necesitan supervisar aplicaciones Python en tiempo real. Al enviar informes desde aplicaciones Python a OpenSearch, puede analizarlos, crear paneles, configurar alertas y obtener información valiosa sobre el rendimiento y el comportamiento de su aplicación. Este enfoque es escalable y adecuado tanto para proyectos pequeños como para entornos de producción a gran escala.

Requisitos previos

• Python instalado: asegúrese de que Python esté instalado en su servidor o máquina local.
• Clúster de OpenSearch: Necesita acceder a un clúster de OpenSearch. Puede crear uno nuevo o usar uno existente.
• FluentBit instalado: FluentBit debe estar instalado en el servidor o la máquina donde se ejecutará su programa Python.

Paso 1: Instalar Python

Primero, actualice su repositorio e instale Python. Ejecute los siguientes comandos:

sudo apt update
sudo apt install python3

Para verificar la instalación de Python, ejecute:

python3 --version

Paso 2: Configurar el registro de Python

Configura tu programa Python para registrar mensajes en un archivo. Aquí tienes una configuración básica:

import logging
# Configure logging
logging.basicConfig(
filename='app.log',
level=logging.INFO,
format='%(asctime)s - %(levelname)s - %(message)s'
)
# Sample log message
logging.info('This is a test log message.')

Esta configuración escribe mensajes de registro en app.log con una marca de tiempo, un nivel de registro y un formato de mensaje.

Paso 3: Crear un clúster de OpenSearch

Si no tiene un clúster de OpenSearch, puede crear uno con la herramienta de línea de comandos de DigitalOcean, doctl. Ejecute el siguiente comando:

doctl databases create opensearch-doks --engine opensearch --region your-region --size db-s-1vcpu-2gb --num-nodes 1

Reemplace su región por la que desee. También puede usar el panel de control de DigitalOcean para crear un clúster manualmente. Para más información, consulte esta guía para crear clústeres de OpenSearch mediante el panel de control.

Paso 4 – Instalar FluentBit

Para instalar FluentBit, utilice el siguiente comando:

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

Paso 5 – Configurar FluentBit

Cree un archivo de configuración llamado fluent-bit.conf para definir cómo Fluent Bit debe leer los informes y enviarlos a OpenSearch. A continuación, se muestra un ejemplo de configuración:

[SERVICE]
Flush 1
Daemon Off
Log_Level info
[INPUT]
Name tail
Path /path/to/your/log/file.log
Tag python_logs
Refresh_Interval 5
[OUTPUT]
Name opensearch
Match python_logs
Host your-opensearch-host
Port 25060
HTTP_User your-username
HTTP_Passwd your-password
Index your-index-name
tls On
Suppress_Type_Name On

• Ruta: especifique la ruta a su app.log.
• Host: reemplácelo con su host de OpenSearch.
• HTTP_User: Su nombre de usuario de OpenSearch.
• HTTP_Passwd: Su contraseña de OpenSearch.
• Índice: El nombre del directorio donde se almacenan los registros.

Paso 6 – Ejecutar FluentBeat

Ejecute FluentBit con el archivo de configuración:

/opt/fluent-bit/bin/fluent-bit -c fluent-bit.conf

Paso 7: Revisar informes en OpenSearch

Para asegurarte de que los informes se reciban correctamente, revisa tu panel de OpenSearch. Deberías ver los informes enviados desde FluentBeat.

Paso 8: Crear una plantilla de índice en los paneles de OpenSearch

1. Inicie sesión en los paneles de OpenSearch con su nombre de usuario y contraseña.
2. Abra el menú de la izquierda y haga clic en Gestión de índices en la sección Gestión.
3. Desde el menú Índices, haga clic en Crear índice.
4. Ingrese el nombre del índice, configure otros ajustes según sea necesario y haga clic en Crear.

Resultado

Siguiendo estos pasos, ha configurado un sistema para enviar registros de Python a OpenSearch mediante Fluent Bit. Esta configuración le permite gestionar y analizar registros de forma eficiente, además de ayudarle a mantener y supervisar sus aplicaciones eficazmente. Con OpenSearch y Fluent Bit, dispone de una potente solución de análisis y supervisión de registros en tiempo real, diseñada para satisfacer las necesidades de cualquier aplicación basada en Python.