Wie man Python-Logs mithilfe von FluentBit an OpenSearch sendet

Einführung

Effizientes Log-Management ist in der heutigen datengetriebenen Welt unerlässlich für die Überwachung und Wartung von Anwendungen. OpenSearch, eine Open-Source-Such- und Analyse-Engine, bietet leistungsstarke Funktionen zur Log-Erfassung und -Analyse. In Kombination mit FluentBit, einem schlanken Log-Sender, können wir Python-Logs zur Echtzeitüberwachung und -analyse an OpenSearch senden. Diese Anleitung führt Sie durch die Einrichtung dieser leistungsstarken Kombination.

Diese Konfiguration ist ideal für Entwickler und Systemadministratoren, die Python-Anwendungen in Echtzeit überwachen müssen. Durch das Senden von Berichten aus Python-Anwendungen an OpenSearch können Sie diese analysieren, Dashboards erstellen, Warnmeldungen einrichten und wertvolle Einblicke in die Leistung und das Verhalten Ihrer Anwendung gewinnen. Dieser Ansatz ist skalierbar und eignet sich sowohl für kleine Projekte als auch für große Produktionsumgebungen.

Voraussetzungen

• Python installiert: Stellen Sie sicher, dass Python auf Ihrem Server oder lokalen Rechner installiert ist.
• OpenSearch-Cluster: Sie benötigen Zugriff auf einen OpenSearch-Cluster. Sie können einen neuen Cluster erstellen oder einen vorhandenen verwenden.
• FluentBit installiert: FluentBit muss auf dem Server oder Rechner installiert sein, auf dem Ihr Python-Programm ausgeführt werden soll.

Schritt 1 – Python installieren

Aktualisieren Sie zunächst Ihr Repository und installieren Sie Python. Führen Sie dazu die folgenden Befehle aus:

sudo apt update
sudo apt install python3

Um die Python-Installation zu überprüfen, führen Sie folgenden Befehl aus:

python3 --version

Schritt 2 – Python-Protokollierung einrichten

Konfigurieren Sie Ihr Python-Programm so, dass Meldungen in eine Datei protokolliert werden. Hier ist eine grundlegende Konfiguration:

import logging
# Configure logging
logging.basicConfig(
filename='app.log',
level=logging.INFO,
format='%(asctime)s - %(levelname)s - %(message)s'
)
# Sample log message
logging.info('This is a test log message.')

Diese Konfiguration schreibt Logmeldungen mit Zeitstempel, Protokollierungsstufe und Nachrichtenformat in die Datei app.log.

Schritt 3 – OpenSearch-Cluster erstellen

Falls Sie noch keinen OpenSearch-Cluster besitzen, können Sie einen mit dem DigitalOcean-Befehlszeilentool doctl erstellen. Führen Sie dazu folgenden Befehl aus:

doctl databases create opensearch-doks --engine opensearch --region your-region --size db-s-1vcpu-2gb --num-nodes 1

Ersetzen Sie Ihre Region durch die gewünschte Region. Alternativ können Sie über das DigitalOcean-Kontrollpanel manuell einen Cluster erstellen. Eine detaillierte Anleitung dazu finden Sie in diesem Leitfaden zur Erstellung von OpenSearch-Clustern über das Kontrollpanel.

Schritt 4 – FluentBit installieren

Um FluentBit zu installieren, verwenden Sie folgenden Befehl:

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

Schritt 5 – FluentBit konfigurieren

Erstellen Sie eine Konfigurationsdatei namens fluent-bit.conf, um festzulegen, wie Fluent Bit Berichte lesen und an OpenSearch senden soll. Hier ist eine Beispielkonfiguration:

[SERVICE]
Flush 1
Daemon Off
Log_Level info
[INPUT]
Name tail
Path /path/to/your/log/file.log
Tag python_logs
Refresh_Interval 5
[OUTPUT]
Name opensearch
Match python_logs
Host your-opensearch-host
Port 25060
HTTP_User your-username
HTTP_Passwd your-password
Index your-index-name
tls On
Suppress_Type_Name On

• Pfad: Geben Sie den Pfad zu Ihrer app.log-Datei an.
• Host: Ersetzen Sie dies durch Ihren OpenSearch-Host.
• HTTP_User: Ihr OpenSearch-Benutzername.
• HTTP_Passwd: Ihr OpenSearch-Passwort.
• Index: Der Name des Verzeichnisses, in dem die Protokolle gespeichert werden.

Schritt 6 – FluentBeat ausführen

Führen Sie FluentBit mit der Konfigurationsdatei aus:

/opt/fluent-bit/bin/fluent-bit -c fluent-bit.conf

Schritt 7 – Berichte in OpenSearch überprüfen

Um sicherzustellen, dass die Berichte korrekt eingehen, überprüfen Sie Ihr OpenSearch-Dashboard. Dort sollten Sie Berichte sehen, die von FluentBeat gesendet wurden.

Schritt 8 – Erstellen einer Indexvorlage in OpenSearch-Dashboards

1. Melden Sie sich mit Ihrem Benutzernamen und Passwort bei den OpenSearch-Dashboards an.
2. Öffnen Sie das linke Menü und klicken Sie im Abschnitt „Verwaltung“ auf „Indexverwaltung“.
3. Klicken Sie im Menü „Indizes“ auf „Index erstellen“.
4. Geben Sie den Indexnamen ein, konfigurieren Sie bei Bedarf weitere Einstellungen und klicken Sie auf Erstellen.

Ergebnis

Mit diesen Schritten haben Sie ein System eingerichtet, das Python-Logs mithilfe von Fluent Bit an OpenSearch sendet. Diese Konfiguration ermöglicht Ihnen die effiziente Verwaltung und Analyse von Logs und unterstützt Sie bei der effektiven Wartung und Überwachung Ihrer Anwendungen. Mit OpenSearch und Fluent Bit verfügen Sie über eine leistungsstarke Echtzeit-Lösung zur Log-Analyse und -Überwachung, die speziell für die Anforderungen jeder Python-basierten Anwendung entwickelt wurde.