«Восток-Сервис»: построение корпоративного хранилища сбытовых данных

Заказчик

Группа компаний «Восток-Сервис» — крупнейший в России разработчик, производитель и поставщик  функциональной одежды и обуви, средств индивидуальной защиты для работы и повседневного использования. Компания основана в 1992 году. 

Визитная карточка компании - поиск и внедрение инноваций во всех направлениях деятельности. Именно инновации позволяют компании оперативно реагировать на изменения рынка, создавать продукты и решения, отвечающие запросам клиентов.

Ситуация до внедрения

Перед компанией стояла задача построить современное хранилище данных, чтобы оперативно получать и анализировать информацию о продажах конечным клиентам.

Нужен был автоматизированный ETL-конвейер, который мог бы подключаться ночью к базам 35 филиалов и доставлять данные в корпоративное хранилище. Потоки должны были выгружаться параллельно и не блокировать друг друга  при записи в целевую таблицу.

Почему выбрали Modus ETL

При выборе инструмента для автоматизации ETL-процессов заказчик ориентировался на несколько ключевых требований:

• Независимость от вендора. Команда должна была самостоятельно настраивать правила трансформации данных без привлечения разработчиков Modus на каждое изменение.

• Широкая поддержка источников. Требовалось подключить разнородные системы: 1С-базы филиалов, FTP-серверы с данными счетчиков посетителей, источники данных для сайта.

• Надежность и поддержка. Для ежесуточной загрузки записей критична стабильность конвейера и быстрое реагирование вендора на инциденты.

• Масштабируемость.  Простота подключения новы источников.

Цели и задачи

Главная цель — дать центральному офису прямой доступ к данным о продажах конечным клиентам во всех филиалах. В рамках проекта предстояло:

•  выстроить автоматизированный конвейер передачи данных из  региональных филиалов в центральное хранилище

•  обеспечить регулярную ночную загрузку транзакционных данных о продажах

•  дать бизнес-команде возможность самостоятельно настраивать правила загрузки без зависимости от вендора

•  создать основу для масштабирования — поэтапного подключения новых источников данных. 

Как проходило внедрение

Этап 1. Аудит и проектирование

Инвентаризация источников данных в филиалах: 1С-базы

Этап 2.  Подключение источников и обучение

Настройка ETL-пакетов для каждого потока данных. 

Этап 3. Запуск и масштабирование

Ввод в промышленную эксплуатацию ночного конвейера загрузки. 

Этап 4. Обучение сотрудников 

По завершении специалисты заказчика самостоятельно управляют конфигурацией.

Внедрение прошло без технических сложностей в 4 этапа. Сегодня, спустя четыре года с момента запуска, система работает в проде без замены и продолжает расширяться. 

Хорошо выстроенный процесс обучения позволил специалистам «Восток-Сервис» самостоятельно настраивать конвейеры в Modus ETL для новых процессов. Решение масштабировалось:

• были подключены дополнительные источники: файлы на FTP-сервере со счетчиками посетителей;

• данные об остатках товаров для сайта.

Как работает Modus ETL в «Восток-Сервис»

Каждую ночь Modus ETL автоматически запускает пакетную загрузку данных из 35 региональных филиалов в центральное хранилище. В среднем за сутки обрабатывается более 8,8 млн записей — транзакции, остатки, посещаемость. Никакого ручного участия аналитиков в этом процессе нет.

Помимо ночного конвейера, Modus ETL обеспечивает несколько специализированных потоков данных:

• Трафик магазинов: загрузка файлов с FTP-серверов со счетчиков посетителей 4 раза в день. Раньше эти данные поступали раз в месяц — сейчас оперативная картина доступна в течение нескольких часов.

• Синхронизация остатков: актуальные остатки товаров автоматически выгружаются в интернет-магазин. Клиенты сайта видят реальное наличие без ручного обновления.

• Данные о продажах конечным клиентам: центральный офис напрямую видит, кто и что покупает в каждом филиале — без запросов к региональным командам.

• Гибкая настройка без вендора: правила трансформации данных команда «Восток-Сервис» меняет самостоятельно. Это стало возможным благодаря качественному обучению на старте проекта.

 Результаты

Система работает в продуктиве уже четыре года — это само по себе показатель надежности. За это время масштаб задач вырос с базового ETL до полноценного управления данными:

• Порядка 8,8 млн записей загружается в хранилище каждые сутки в полностью автоматическом режиме — без участия аналитиков.

• 40+ источников данных подключено к единому ETL-конвейеру: 1С-базы, FTP-серверы, источники e-commerce.

• Частота обновления данных о посетителях магазинов увеличилась с 1 раза в месяц до 4 раз в день.

•  4 года в промышленной эксплуатации без замены платформы — система масштабируется под новые задачи.

• 100% самостоятельность команды заказчика в настройке правил трансформации: зависимости от вендора нет. 

Важный эффект: гибкость Modus ETL позволила «Восток-Сервис» масштабировать платформу далеко за пределы первоначального ТЗ. Начав с передачи данных о продажах из филиалов, компания последовательно добавила синхронизацию остатков для сайта, загрузку данных о посетителях с FTP и другие потоки — все в рамках одной платформы, без дополнительных внедрений.

Сценарии применения сегодня

Сегодня Modus ETL закрывает три ключевых направления работы с данными в «Восток-Сервис»:

Аналитика продаж

Ежесуточная загрузка транзакций из 37 филиалов. Центральный офис видит продажи конечным клиентам без обращения к региональным командам.

Трафик магазинов

Данные со счетчиков посетителей поступают 4 раза в день через FTP. Маркетинг получает оперативную картину конверсии и трафика.

E-commerce синхронизация

Актуальные остатки товаров автоматически выгружаются на сайт. Клиенты видят реальное наличие, снижается нагрузка на операционные команды.

Представитель команды аналитики, ГК «Восток-Сервис»:

«Ценность Modus ETL для нас — это скорость и гибкость инструмента. Мы получили независимость в управлении данными: наполняем хранилище из источников самостоятельно, без обращения к вендору. Когда появляются новые задачи — мы просто добавляем новый источник или меняем правила сами. При этом поддержка Modus реагирует быстро, если что-то нестандартное все же возникает. Система работает уже четыре года, и мы продолжаем ее масштабировать».