giriiş
Günümüzün veri odaklı dünyasında, uygulamaların izlenmesi ve bakımı için verimli günlük yönetimi olmazsa olmazdır. Açık kaynaklı bir arama ve analiz motoru olan OpenSearch, güçlü günlük toplama ve analiz özellikleri sunar. Hafif bir günlük gönderici olan FluentBit ile birleştirerek, Python günlüklerini gerçek zamanlı izleme ve analiz için OpenSearch'e gönderebiliriz. Bu kılavuz, bu güçlü kombinasyonun kurulumunda size yol gösterecektir.
Bu kurulum, Python uygulamalarını gerçek zamanlı olarak izlemesi gereken geliştiriciler ve sistem yöneticileri için faydalıdır. Python uygulamalarından OpenSearch'e rapor göndererek raporları analiz edebilir, panolar oluşturabilir, uyarılar ayarlayabilir ve uygulamanızın performansı ve davranışı hakkında değerli bilgiler edinebilirsiniz. Bu yaklaşım ölçeklenebilir ve hem küçük projeler hem de büyük ölçekli üretim ortamları için uygundur.
Ön koşullar
- Python yüklü: Sunucunuzda veya yerel makinenizde Python'ın yüklü olduğundan emin olun.
- OpenSearch Kümesi: Bir OpenSearch kümesine erişmeniz gerekiyor. Yeni bir küme oluşturabilir veya mevcut bir kümeyi kullanabilirsiniz.
- FluentBit yüklü: Python programınızın çalışacağı sunucuya veya makineye FluentBit yüklü olmalıdır.
Adım 1 – Python'u yükleyin
Öncelikle deponuzu güncelleyin ve Python'ı yükleyin. Aşağıdaki komutları çalıştırın:
sudo apt update
sudo apt install python3Python kurulumunu doğrulamak için şunu çalıştırın:
python3 --version
Adım 2 – Python günlüğünü ayarlayın
Python programınızı mesajları bir dosyaya kaydedecek şekilde yapılandırın. İşte temel kurulum:
import logging
# Configure logging
logging.basicConfig(
filename='app.log',
level=logging.INFO,
format='%(asctime)s - %(levelname)s - %(message)s'
)
# Sample log message
logging.info('This is a test log message.')Bu yapılandırma, günlük mesajlarını app.log dosyasına zaman damgası, günlük düzeyi ve mesaj biçimiyle yazar.
Adım 3 – OpenSearch Kümesi Oluşturun
OpenSearch kümeniz yoksa, DigitalOcean komut satırı aracı doctl'yi kullanarak bir tane oluşturabilirsiniz. Aşağıdaki komutu çalıştırın:
doctl databases create opensearch-doks --engine opensearch --region your-region --size db-s-1vcpu-2gb --num-nodes 1
Bölgenizi istediğiniz bölgeyle değiştirin. Alternatif olarak, DigitalOcean kontrol panelini kullanarak manuel olarak bir küme oluşturabilirsiniz. Bunun nasıl yapılacağı hakkında ayrıntılı bilgi için, kontrol paneli aracılığıyla OpenSearch kümeleri oluşturma kılavuzuna bakın.
Adım 4 – FluentBit'i yükleyin
FluentBit'i yüklemek için aşağıdaki komutu kullanın:
curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh
Adım 5 – FluentBit'i yapılandırın
Fluent Bit'in raporları nasıl okuyup OpenSearch'e göndereceğini tanımlamak için fluent-bit.conf adlı bir yapılandırma dosyası oluşturun. İşte örnek bir yapılandırma:
[SERVICE]
Flush 1
Daemon Off
Log_Level info
[INPUT]
Name tail
Path /path/to/your/log/file.log
Tag python_logs
Refresh_Interval 5
[OUTPUT]
Name opensearch
Match python_logs
Host your-opensearch-host
Port 25060
HTTP_User your-username
HTTP_Passwd your-password
Index your-index-name
tls On
Suppress_Type_Name On- Yol: App.log dosyanıza giden yolu belirtin.
- Host: OpenSearch hostunuzla değiştirin.
- HTTP_User: OpenSearch kullanıcı adınız.
- HTTP_Passwd: OpenSearch şifreniz.
- Dizin: Günlüklerin saklandığı dizinin adı.
Adım 6 – FluentBeat'i çalıştırın
FluentBit'i yapılandırma dosyasıyla çalıştırın:
/opt/fluent-bit/bin/fluent-bit -c fluent-bit.conf
Adım 7 – OpenSearch'teki raporları inceleyin
Raporların doğru şekilde geldiğinden emin olmak için OpenSearch panonuzu kontrol edin. FluentBeat'ten gönderilen raporları görmelisiniz.
Adım 8 – OpenSearch panolarında bir dizin şablonu oluşturun
- Kullanıcı adınız ve şifrenizle OpenSearch panellerine giriş yapın.
- Sol menüyü açın ve Yönetim bölümünde Dizin Yönetimi'ne tıklayın.
- Dizinler menüsünden Dizin oluştur'a tıklayın.
- Dizin adını girin, diğer ayarları gerektiği gibi yapılandırın ve Oluştur'a tıklayın.
Sonuç
Bu adımları izleyerek, Fluent Bit kullanarak Python günlüklerini OpenSearch'e göndermek için bir sistem kurmuş olursunuz. Bu kurulum, günlükleri verimli bir şekilde yönetmenizi ve analiz etmenizi sağlar ve uygulamalarınızı etkili bir şekilde yönetmenizi ve izlemenizi sağlar. OpenSearch ve Fluent Bit ile, Python tabanlı tüm uygulamaların ihtiyaçlarını karşılamak üzere tasarlanmış güçlü bir gerçek zamanlı günlük analizi ve izleme çözümüne sahip olursunuz.
