Wie man Protokolle von Fluent Bit an OpenSearch sendet

Einführung

In diesem Tutorial lernen Sie, wie Sie Protokolle von Fluent Bit, installiert auf einer verwalteten MongoDB-Datenbank, die auf einem Ubuntu Droplet läuft, an eine verwaltete DigitalOcean OpenSearch-Datenbank senden.

OpenSearch OpenSearch ist eine Open-Source-Such- und Analysesuite, die durch die Kombination von Elasticsearch und Kibana entstanden ist. Sie unterstützt die Datenerfassung in Echtzeit, erweiterte Suchfunktionen und hohe Sicherheitsstandards und eignet sich daher ideal für E-Commerce-, IT-Monitoring- und Finanzanwendungen. Dank Funktionen wie der Unterstützung von SQL-Abfragen, maschinellem Lernen und Benachrichtigungen wird OpenSearch durch die aktive Community-Entwicklung kontinuierlich aktualisiert.

Fluent Bit Fluent Bit ist ein schlanker Open-Source-Logprozessor und -Sender, der Logdaten sammelt, verarbeitet und versendet. Er ist auf optimale Leistung ausgelegt und eignet sich für ressourcenbeschränkte Umgebungen wie Container und Edge-Computing. Fluent Bit aggregiert Logs effizient und sendet sie an mehrere Ziele, wodurch er in Echtzeit-Logging- und Monitoring-Umgebungen sehr beliebt ist.

Voraussetzungen

Bevor Sie beginnen, stellen Sie bitte sicher, dass Sie Folgendes haben:

• Ein Konto auf DigitalOcean Mit Zugang zu Managed OpenSearch.
• Grundkenntnisse von OpenSearch Und Fluent Bit.
• Zugang zu OpenSearch-Dashboard.

Installieren Sie Fluent Bit

Fluent Bit lässt sich auf verschiedenen Plattformen installieren. Hier verwenden wir Ubuntu. Führen Sie folgenden Befehl in Ihrem Droplet-Terminal aus:

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

Weitere Informationen finden Sie in der offiziellen Dokumentation.

Fluent Bit-Konfiguration

Die Fluent Bit-Konfigurationsdatei befindet sich standardmäßig im Pfad. /etc/fluent-bit/fluent-bit.conf Sie müssen diese Datei ändern, um Protokolle an OpenSearch zu senden.

Fluent Bit-Eingänge

Fluent Bit bietet eine Reihe von Eingabe-Plugins, mit denen Protokoll- und Ereignisdaten aus verschiedenen Quellen erfasst werden können. Da Sie Protokolle aus Protokolldateien senden möchten, müssen Sie das entsprechende Eingabe-Plugin verwenden. Schwanz Sie werden es verwenden.

Datei fluent-bit.conf Aktualisierung wie folgt:

[INPUT] name tail Path /var/log/mongodb/mongod.log

Weitere Informationen zu Eingabe-Plugins finden Sie im offiziellen Fluent Bit-Handbuch.

Fluent Bit-Ausgaben

Wie die Eingabe-Plugins bietet Fluent Bit auch ein Ausgabe-Plugin, das die gesammelten und verarbeiteten Protokolle an verschiedene Ziele sendet. Da wir die Protokolle an OpenSearch senden werden, verwenden wir das OpenSearch-Ausgabe-Plugin.

[OUTPUT]
Name opensearch
Match *
Host opensearch hostname
port 25060
HTTP_User doadmin #DO Managed OpenSeach username
HTTP_Passwd XXXX #Managed OpenSeach Password
Index mongodb
tls On
Suppress_Type_Name On

Weitere Informationen zu Ausgabe-Plugins finden Sie im offiziellen Fluent Bit-Handbuch.

Nach der Konfiguration starten Sie den Fluent Bit-Dienst:

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

Greifen Sie über das OpenSearch-Dashboard auf die MongoDB-Protokolle zu.

• Rufen Sie das OpenSearch-Dashboard in Ihrem DigitalOcean-Konto auf.
• Klicken Sie mit dem Hamburger-Symbol im Admin-Bereich auf “Dashboard-Verwaltung”.
• Klicken Sie auf “Indexmuster” und wählen Sie “Indexmuster erstellen”.
• Benennen Sie die Indexvorlage entsprechend dem im Dokument verwendeten Namen. fluent-bit.conf Eingeben.
• Sobald die Indexvorlage fertig ist, können Sie die MongoDB-Protokolle auf der Registerkarte “Discover” anzeigen.

Ergebnis

Herzlichen Glückwunsch! Sie haben erfolgreich gelernt, wie Sie mit Fluent Bit selbstgehostete MongoDB-Logs erfassen und an eine verwaltete OpenSearch-Datenbank auf DigitalOcean senden. In diesem Tutorial haben Sie gelernt, wie Sie Fluent Bit konfigurieren und eine Indexvorlage in OpenSearch erstellen, um Ihre MongoDB-Logs effektiv zu überwachen und zu analysieren.