Как отправить логи из Fluent Bit в OpenSearch

Введение

В этом руководстве вы узнаете, как отправлять журналы из Fluent Bit, установленного на управляемой базе данных MongoDB, работающей на Ubuntu Droplet, в управляемую базу данных DigitalOcean OpenSearch.

OpenSearch Пакет поиска и аналитики с открытым исходным кодом, созданный путём слияния Elasticsearch и Kibana. Он поддерживает сбор данных в режиме реального времени, расширенный поиск и надежную безопасность, что делает его идеальным решением для приложений электронной коммерции, ИТ-мониторинга и финансов. Благодаря таким функциям, как поддержка SQL-запросов, машинное обучение и оповещения, OpenSearch постоянно обновляется благодаря активному развитию сообщества.

Fluent Bit Fluent Bit — это лёгкий обработчик и отправитель журналов с открытым исходным кодом, который собирает, обрабатывает и отправляет данные журналов. Он разработан для оптимальной производительности и подходит для сред с ограниченными ресурсами, таких как контейнеры и периферийные вычисления. Fluent Bit эффективно агрегирует журналы и отправляет их по нескольким адресам, что делает его очень популярным в средах журналирования и мониторинга в реальном времени.

Предпосылки

Прежде чем начать, убедитесь, что у вас есть следующее:

• Счет на DigitalOcean Имея доступ к Управляемый OpenSearch.
• Базовые знания OpenSearch и Fluent Bit.
• Доступ к Панель инструментов OpenSearch.

Установить FluentBit

Fluent Bit можно установить на нескольких платформах. В данном случае мы используем Ubuntu. Выполните следующую команду в терминале Droplet:

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

Более подробную информацию вы можете найти в официальной документации.

Конфигурация Fluent Bit

Файл конфигурации Fluent Bit по умолчанию находится по пути. /etc/fluent-bit/fluent-bit.conf Вам необходимо изменить этот файл, чтобы отправлять журналы в OpenSearch.

Свободные битовые входы

Fluent Bit предоставляет набор плагинов ввода, которые позволяют собирать данные журналов и событий из различных источников. Поскольку вы собираетесь отправлять журналы из файлов журналов, вам потребуется использовать плагин ввода. хвост Вы будете использовать.

Файл fluent-bit.conf Обновление следующим образом:

[INPUT] name tail Path /var/log/mongodb/mongod.log

Более подробную информацию о плагинах ввода можно найти в официальном руководстве Fluent Bit.

Выходы Fluent Bit

Как и плагины ввода, Fluent Bit предоставляет плагин вывода, который отправляет собранные и обработанные журналы в различные пункты назначения. Поскольку мы собираемся отправлять журналы в OpenSearch, мы будем использовать плагин вывода OpenSearch.

[OUTPUT]
Name opensearch
Match *
Host opensearch hostname
port 25060
HTTP_User doadmin #DO Managed OpenSeach username
HTTP_Passwd XXXX #Managed OpenSeach Password
Index mongodb
tls On
Suppress_Type_Name On

Более подробную информацию о выходных плагинах см. в официальном руководстве Fluent Bit.

После настройки запустите службу Fluent Bit:

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

Доступ к журналам MongoDB на панели управления OpenSearch

• Перейдите на панель управления OpenSearch в вашей учетной записи DigitalOcean.
• Используя значок гамбургера, нажмите “Управление панелью управления” в разделе администратора.
• Нажмите “Шаблоны индекса” и выберите “Создать шаблон индекса”.
• Назовите шаблон индекса в соответствии с именем, используемым в файле. fluent-bit.conf Входить.
• После того, как шаблон индекса будет готов, вы сможете просматривать логи MongoDB на вкладке “Обзор”.

Результат

Поздравляем! Вы успешно освоили Fluent Bit для сбора и отправки собственных журналов MongoDB в управляемую базу данных OpenSearch на DigitalOcean. В этом руководстве вы узнали, как настроить Fluent Bit и создать шаблон индекса в OpenSearch для эффективного мониторинга и анализа журналов MongoDB.