Site icon Databoring

Главная

«Сверлим» данные. Снижаем расходы на кофе.

Luxms Data Boring помогает инженерам данных, аналитикам готовить данные для эффективной скоростной визуализации в Luxms BI, когда классические витрины DWH не удобны или не в состоянии обеспечить необходимую скорость отклика на больших данных. Инструмент решает следующие функциональные и технические задачи:

  • Высокоскоростной автоматизированный сбор данных из систем и хранилищ;
  • Модернизация ETL-процессов за счёт подготовки слоя горячих данных – данных, необходимых в оперативной работе;
  • Эффективная обработка и структурирование данных – фильтрация, группировка, агрегирование и расчёты;
  • Подготовка витрин данных для визуализации в BI-системе;
  • Автоматизация и упрощение выполнения регулярных etl-задач через графический интерфейс.

Целевое использование.

Приоритет хранилища – интерактивное обслуживание пользователей. Пользователей много, поэтому ресурсная квота на сложную обработку данных минимальна

Нагружать хранилище тяжёлыми запросами из BI нет возможности в силу архитектурных или производительных ограничений

Архитектура.

Горячий слой: ClickHouse/Arenadata Quickmarts
Тёплый слой: Greenplum/Arenadata DB
BI: Luxms BI
Визуальный интерфейс: Node-Red
Высокооптимизированные MPP компоненты на Java для работы с Luxms BI, PostgreSQL, Kafka, ClickHouse/Arenadata Quickmarts, Greenplum/Arenadata DB

Экспорт данных из JDBC источников с оптимизацией для PostgreSQL
Загрузка данных в JDBC источники с оптимизацией для PostgreSQL и ClickHouse/Arenadata Quickmarts
Выполнение SQL запросов в JDBC источниках
Коннектор для Kafka
Коннектор для Redis
Коннектор для TCP/UDP сокетов
HTTP сервер и HTTP клиент
Системы обработки на основе правил
Методы машинного обучения
Математические методы любой сложности: статанализ, ML, NLP, скрипты на R/Python.

Для текстовых данных – методы NLP

Схема работы.

Результат апробации на реальных данных.

ООО «ЯСП Labs» развивает цифровые решения для аналитики и визуализации данных на базе российской платформы Визуальный управленческий контроль Luxms BI.

Один из продуктов — Luxms Data Boring, который помогает инженерам данных, аналитикам готовить данные для эффективной скоростной визуализации в Luxms BI, когда витрины DWH не удобны:

  • сбор данных из источников;
  • подготовка слоя горячих данных;
  • фильтрация и группировка;
  • агрегирование и расчёты;
  • загрузка данных в BI;
  • автоматизация регулярных задач.

Платформа аналитики Luxms BI — получайте выгоду от ваших живых, осмысленных данных. Помогает компаниям контролировать процессы, анализировать показатели эффективности и готовить интерактивные отчёты. Специализация Luxms BI — решение специфических задач бизнеса: специализированные аналитические приложения, инструменты представления и наблюдения за данными, системы управления данными. Пользователи — это лица, принимающие решения, топ-менеджеры, линейные руководители

Luxms Data Boring помогает готовить данные для эффективной скоростной визуализации в аналитической платформе Luxms BI. Предназначен для инженеров данных и аналитиков. Инструмент полезен в случаях, когда нужно сформировать слой «горячих» данных рядом с хранилищем; важно разгрузить хранилище от «тяжелых» аналитических запросов; требуется высокая скорость при подготовке BI-витрин. Инструмент оптимизирован под работу с Luxms BI, но может использоваться и самостоятельно для задач по быстрой обработке данных.

Каскадная подготовка

Витрин данных