Splunk Enterprise 10.4.4 + MacOS + Linux

Splunk Enterprise — это платформа для централизованного сбора, индексирования, поиска и анализа машинных данных. В среде Windows она умеет собирать журналы событий, файлы логов, счетчики производительности, сведения реестра, Active Directory и другие технические данные, а затем связывать их поисковыми запросами, отчетами, дашбордами и оповещениями.

Это существенно больше, чем продвинутый "Просмотр событий". Splunk имеет смысл там, где события приходят с десятков или сотен машин и вопрос уже звучит не "что произошло на этом сервере", а "на каких узлах повторилась эта последовательность событий, с какими учетными записями и что происходило до нее".

Сбор данных в Windows

Для централизованного сбора обычно используется Universal Forwarder — сравнительно легкий агент, который ставится на контролируемые машины и отправляет данные индексаторам. Его конфигурацию можно централизованно раздавать через Deployment Server, поэтому на большой инфраструктуре не требуется вручную править каждый агент.

С Windows Event Log Splunk работает напрямую: доступны каналы Application, Security, System и другие зарегистрированные журналы. Кроме того, можно собирать счетчики Performance Monitor, изменения реестра, данные Active Directory, сведения о системе и обычные файлы журналов.

Права сервисной учетной записи здесь имеют значение. Для чтения Security и некоторых системных источников агенту нужны соответствующие привилегии, а удаленный сбор через WMI требует дополнительных сетевых прав. Современный установщик Forwarder позволяет начать с учетной записи с минимальными полномочиями, что правильнее, чем без причины раздавать сервисам Local System.

SPL, поиск и аналитика

Главный рабочий инструмент Splunk — Search Processing Language, или SPL. Через него события фильтруются, группируются, связываются, преобразуются в статистику и графики; сохраненный поиск можно превратить в отчет, панель дашборда или условие для оповещения.

Именно SPL делает Splunk гораздо интереснее обычного хранилища логов. Например, можно не просто искать Event ID ошибки, а сгруппировать события по хостам, пользователям и времени, сопоставить их с другим источником и найти закономерность, которая на отдельных серверах вообще не бросается в глаза.

Но язык придется учить. Простые запросы осваиваются быстро, а сложная аналитика довольно скоро превращается в настоящую работу с пайплайнами, регулярными выражениями, полями, статистическими командами и особенностями структуры конкретных данных. Splunk умеет скрывать часть этой сложности через Pivot и модели данных, но возможности SPL они не заменяют.

Отчеты, дашборды и оповещения

Поисковые запросы можно сохранять и выполнять по расписанию. На их основе строятся отчеты и дашборды, а alert срабатывает, когда результат соответствует заданным условиям; предусмотрены условия запуска и подавление повторяющихся оповещений.

Для эксплуатации это важнее красивой визуализации как таковой. Хороший дашборд показывает состояние инфраструктуры, но хороший alert сообщает о проблеме до того, как администратор вспомнит открыть дашборд.

Главная опасность — очень легко настроить систему, которая безупречно рассылает сотни никому не нужных предупреждений. В Splunk качество мониторинга сильно зависит от качества запросов и порогов: шумные исходные журналы сами собой осмысленными не становятся.

Архитектура и масштабирование

На небольшой системе одна установка Splunk Enterprise может одновременно принимать данные, индексировать их и обслуживать поиск. При росте нагрузки архитектура разделяется: forwarder собирает события, indexer обрабатывает и хранит индексы, а search head принимает поисковые запросы пользователей и распределяет их между индексаторами.

Дальше появляются кластеры индексаторов, несколько search head и отдельные компоненты управления конфигруации. Такая схема позволяет масштабировать прием данных и поиск горизонтально, а кластеризация обеспечивает отказоустойчивость соответствующих уровней.

Это одна из главных сил Splunk и одновременно источник его сложности. Установить сервер и получить первые события довольно легко; спроектировать надежную инфраструктуру с большим потоком логов, разумным сроком хранения, репликацией и приемлемой скоростью запросов — уже нормальная инженерная задача.

Splunk особенно требователен к подсистеме хранения: индексирование активно нагружает диски, а "горячие" и рабочие индексы разработчик рекомендует размещать на быстром локальном хранилище. Нагрузка на CPU также растет вместе с количеством одновременных поисков и запланированных заданий.

Плюсы и минусы Splunk Enterprise

Главное достоинство Splunk — способность превратить огромную массу разнородных технических данных в единое поисковое пространство. Особенно хорошо это работает в инфраструктуре Windows: Event Log, AD, реестр, performance counters и прикладные логи можно анализировать вместе, а не прыгать между оснастками и серверами.

Вторая сильная сторона — SPL. Хорошо написанный запрос зачастую ценнее очередного готового отчета, потому что позволяет задать инфраструктуре именно тот вопрос, который возник во время расследования, а не выбирать ближайший подходящий пункт из меню.

Главный минус — высокая цена сложности в техническом смысле, даже если вообще не обсуждать деньги. Нужно проектировать сбор, нормализовать источники, следить за объемом индексов, производительностью хранилища, количеством поисков и распространением настрйока. На серьезном масштабе Splunk уже сам становится инфраструктурой, которую приходится мониторить и обслуживать.

Еще одна особенность — Splunk Enterprise сам по себе не превращает сырые события в готовую службу информационной безопасности. Для хорошего обнаружения атак нужны корректный аудит Windows, подходящие источники, Sysmon там, где он оправдан, продуманные запросы и нормальная работа с ложными срабатываниями. Собрать логи — самая простая часть задачи.

Итог

Splunk Enterprise — чрезвычайно сильный инструмент, когда логи перестают быть отдельными файлами и превращаются в массив данных, по которому нужно задавать сложные вопросы. Его главные преимущества — SPL, масштабируемая архитектура и широкий сбор данных Windows; главный недостаток ровно тот же: чтобы использовать все это хорошо, Splunk приходится всерьез проектировать, настраивать и обслуживать.