Günlükler Fluent Bit'ten OpenSearch'e nasıl gönderilir?

giriiş

Bu eğitimde, Ubuntu Droplet üzerinde çalışan yönetilen bir MongoDB'ye yüklenen Fluent Bit'ten günlüklerin yönetilen bir DigitalOcean OpenSearch veritabanına nasıl gönderileceğini öğreneceksiniz.

Açık Arama Elasticsearch ve Kibana'nın birleşmesiyle oluşturulan açık kaynaklı bir arama ve analiz paketidir. Gerçek zamanlı veri toplama, gelişmiş aramalar ve güçlü güvenlik özellikleriyle e-ticaret, BT izleme ve finans uygulamaları için idealdir. SQL sorguları, makine öğrenimi ve uyarılar gibi özelliklerle OpenSearch, aktif topluluk geliştirmeleri sayesinde sürekli olarak güncellenmektedir.

Akıcı Bit Fluent Bit, günlük verilerini toplayan, işleyen ve gönderen hafif ve açık kaynaklı bir günlük işlemcisi ve göndericisidir. Optimum performans için tasarlanmıştır ve konteynerler ve uç bilişim gibi kaynak kısıtlamalı ortamlar için uygundur. Fluent Bit, günlükleri verimli bir şekilde toplar ve birden fazla hedefe gönderir, bu da onu gerçek zamanlı günlük kaydı ve izleme ortamlarında oldukça popüler hale getirir.

Ön koşullar

Başlamadan önce aşağıdakilere sahip olduğunuzdan emin olun:

• Bir hesap DijitalOkyanus Erişimi olan Yönetilen OpenSearch.
• Temel bilgi Açık Arama Ve Akıcı Bit.
• Erişim OpenSearch Kontrol Paneli.

Fluent Bit'i yükleyin

Fluent Bit birden fazla platforma kurulabilir. Burada Ubuntu platformunu kullanıyoruz. Droplet terminalinizde aşağıdaki komutu çalıştırın:

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

Daha detaylı bilgi için resmi dokümanlara başvurabilirsiniz.

Akıcı Bit Yapılandırması

Fluent Bit yapılandırma dosyası varsayılan olarak yolda bulunur. /etc/fluent-bit/fluent-bit.conf Günlükleri OpenSearch'e göndermek için bu dosyayı değiştirmeniz gerekir.

Akıcı Bit Girişleri

Fluent Bit, çeşitli kaynaklardan günlük ve olay verilerini toplamasına olanak tanıyan bir dizi giriş eklentisi sunar. Günlükleri günlük dosyalarından göndereceğiniz için giriş eklentisini kullanmanız gerekecektir. kuyruk Kullanacaksın.

Dosya akıcı-bit.conf Aşağıdaki şekilde güncelleyin:

[INPUT] name tail Path /var/log/mongodb/mongod.log

Giriş eklentileri hakkında daha fazla bilgi edinmek için Fluent Bit'in resmi kılavuzuna başvurabilirsiniz.

Akıcı Bit Çıkışları

Giriş eklentileri gibi, Fluent Bit de toplanan ve işlenen günlükleri çeşitli hedeflere gönderen bir çıktı eklentisi sunar. Günlükleri OpenSearch'e göndereceğimiz için, OpenSearch çıktı eklentisini kullanacağız.

[OUTPUT]
Name opensearch
Match *
Host opensearch hostname
port 25060
HTTP_User doadmin #DO Managed OpenSeach username
HTTP_Passwd XXXX #Managed OpenSeach Password
Index mongodb
tls On
Suppress_Type_Name On

Çıkış eklentileri hakkında daha fazla bilgi için resmi Fluent Bit kılavuzuna bakın.

Yapılandırıldıktan sonra Fluent Bit servisini başlatın:

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

OpenSearch panosunda MongoDB günlüklerine erişin

• DigitalOcean hesabınızdaki OpenSearch panosuna gidin.
• Hamburger ikonunu kullanarak yönetici bölümündeki “Pano Yönetimi”ne tıklayın.
• “Endeks desenleri”ne tıklayın ve “Endeks deseni oluştur”u seçin.
• Dizin şablonuna dosyada kullanılan isme göre isim verin. akıcı-bit.conf Girmek.
• Dizin şablonu hazır olduğunda, “Keşfet” sekmesinden MongoDB kayıtlarını görüntüleyebilirsiniz.

Sonuç

Tebrikler! Fluent Bit'i kullanarak kendi barındırdığınız MongoDB günlüklerini toplayıp DigitalOcean'daki yönetilen bir OpenSearch veritabanına göndermeyi başarıyla öğrendiniz. Bu eğitimde, Fluent Bit'i nasıl yapılandıracağınızı ve MongoDB günlüklerinizi etkili bir şekilde izleyip analiz edebilmeniz için OpenSearch'te bir dizin şablonu nasıl oluşturacağınızı öğrendiniz.