Кейс для бизнес аналитика

Рассказываем, как компании распутать десятки терабайт данных, реагировать на ошибки в них в 3 раза быстрее и сократить время на подготовку аналитических отчётов до 20 минут.

1406 просмотров
Кирилл Фридлянд
Директор по управлению данными (CDO) Hoff Tech

Hoff — большая сеть гипермаркетов мебели и товаров для дома, сайт hoff.ru и мобильное приложение используют более 113 миллионов клиентов. Чтобы проводить продуктовый и маркетинговый анализ, мы собираем много информации. В локальном хранилище у нас находятся ключевые данные, такие как продажи, остатки и движения товаров.

А вот в облачном Data Warehouse (DWH) мы храним информацию о событиях и действия клиентов на сайте и в приложениях, о просмотрах товаров, конверсиях и спросе в Интернете. За 5 лет накопилось 93 ТБ сырых данных из более чем 10 различных источников. На основе этих данных мы строим аналитику, всего сотрудники используют 155 различных дашбордов и формируют 42 отчёта.

Изначально мы хотели повысить качество веб-аналитики. Структура хранилища была запутанной, а данные в нём иногда противоречили друг другу, что замедляло и усложняло создание отчётов.

Тестовое задание на позицию бизнес-аналитика с зарплатой 100 000 руб.

Для решения проблемы мы обратились в e-сommerce агентство Aero. В процессе обсуждения проекта выяснилось, что устранить противоречия в данных и ускорить работу с хранилищем DWH можно только с помощью полного рефакторинга. Кроме того, возникла необходимость миграции хранилища на российскую платформу, поэтому совместно с Aero мы решили полностью перестроить архитектуру: создать масштабируемое DWH с едиными принципами хранения для всех данных и системой алертинга для контроля качества.

Как «распутать» 93 ТБ данных

Мы сформировали команду из специалистов Hoff, Hoff Tech и Aero. Это был сложный этап работы. 93 ТБ данных использовались для создания дашбордов и отчётов, которые содержали 1938 расчётных полей. Команда провела реверс-инжиниринг: начиная с дашбордов отслеживали путь данных к источникам, выявляя последовательности и правила преобразования.

В начале проекта общая схема потоков данных выглядела так:

Упорядочить эти потоки данных удалось благодаря последовательной отработке скриптов и разбивки данных по источникам. Итоговый упорядоченный граф:

В результате мы определили, что почти треть накопленной за 5 лет информации устарела или не используется. Мы совместно решали, какие из этих данных не нужно переносить в новое хранилище.

Кроме того, выяснилось, что еженедельно из Power BI запрашивается 29 ТБ данных для построения аналитики. Изначально наше DWH было развёрнуто на облачной платформе, которая предусматривала оплату за каждое обращение к данным. При такой схеме использования затраты на эти запросы составляли порядка 3000 долларов в месяц.

Оптимизация расходов и опенсорс-продукты

Aero предложили использовать опенсорс-продукты, что позволило бы избежать платы за каждый запрос данных и при этом разворачивать DWH на любой инфраструктуре. Мы хотели локализовать хранилище, поэтому новую облачную платформу нужно было найти в России. Выбрали Yandex Cloud — платформа предоставляет управляемые сервисы аналитической СУБД ClickHouse и массивно-параллельной СУБД Greenplum, которые хорошо подошли для проекта.

Clickhouse и Greenplum — это бесплатные опенсорс-продукты, над которыми работает большое сообщество. Они, как правило, содержат меньше дефектов, быстрее обновляются и не зависят от политики какой-либо компании. Архитектуру, использующую эти продукты, можно быстро масштабировать или перенести на любую инфраструктуру без потери данных и пересборки хранилища с нуля.

Clickhouse хорошо работает с сырыми данными: за счёт высокого сжатия хранилище занимает меньше места, но при этом даже единичные ad hoc запросы выполняются оперативно. Благодаря распределённой обработке, в Greenplum можно быстро изменять, фильтровать и связывать данные.

Многослойная архитектура, визуализация данных и алертинг

Aero спроектировали гибридную модель, суть которой — дробление массива данных на логические сегменты. В таком формате нашим сотрудникам удобнее работать с хранилищем: можно компилировать информацию в зависимости от конкретных потребностей.

Для её реализации мы решили послойно развернуть хранилище DWH в разных системах управления.

В старом хранилище аналитики могли работать только с сырыми данными. В новом DWH эту данные мы перенесли в ClickHouse вместе с коннекторами, что позволяет хранить все сырые данные из источников в одной СУБД.

Для ядра DWH мы выбрали Greenplum. Data Vault 2.0 Greenplum предполагает хранение только высоконормализованных данных. Поэтому предварительно мы обрабатываем сырые данные, поступающие из ClickHouse, с помощью фреймворка DBT. Такой подход позволяет избежать повторов данных и противоречий, можно доверять информации в хранилище на 100%, не переживая об актуальности и достоверности.

Данные автоматически обновляются по заданному расписанию с помощью настроенных пайплайнов в Airflow. Благодаря чётко выстроенным процессам и описанным регламентам, наши сотрудники могут поддерживать эту систему самостоятельно.

Ещё один важный этап работы — создание аналитических витрин данных. Это части хранилища в виде агрегированных таблиц, которые содержат данные по разным направлениям деятельности Hoff. Это ключевые метрики, которые можно комбинировать различными способами для дальнейшего анализа. На основе витрин данных строится визуализация в Yandex DataLens.

Одна витрина данных может быть источником для множества дашбордов. В старом хранилище мы работали только с сырыми данными, поэтому дашборды и отчёты каждый отдел компании строил исходя из собственной экспертизы. Теперь эти отчёты создаются из предобработанной по единому стандарту информации.

Кроме того, для нашего DWH Aero создали с нуля систему алертинга. Теперь актуальность отчётов определяется с помощью трехцветной системы маркировки, это позволяет избежать попадание устаревших данных в аналитику. При обнаружении ошибок на всех этапах загрузки и обработки данных работает система оповещений, что позволяет избежать работы с неконсистентной или неверной информацией.

Результаты

За 1 год нам с Aero удалось полностью пересобрать облачный DWH. После анализа и оптимизации данных мы сократили их объём с 93 ТБ до 51 ТБ. При этом в новое хранилище ежедневно поступает 15 ГБ сырых данных, а из них в Data Vault Greenplum попадает 3 ГБ высоконормализованных данных. Работа с предварительно подготовленной информацией позволила сократить время на подготовку аналитического отчёта до 20 минут.

Созданная многоуровневая архитектура и использование управляемых облачных сервисов позволяют легко масштабировать проект. При регулярно растущем объёме данных DWH можно трансформировать в Data Lake без потери качества структуры.

Источник: vc.ru

Кейс для бизнес аналитика

СКВОЗНАЯ МАРКЕТИНГОВАЯ АНАЛИТИКА

Этот инструмент позволяет посчитать стоимость лида, клики, заявки, звонки, достижение целей. Получить эти показатели как в общем по компании, так и в разрезе сайтов, каналов, подрядчиков, рекламных кампаний, площадок. Есть возможность выставить план по этим показателям и сравнить факт с планом. Также присутствует блок анализа SEO.

АНАЛИТИКА ЦЕНООБРАЗОВАНИЯ АВТОДЕТАЛЕЙ

Парсинг цен для отдела логистики на базе парсеров Emex, Autodoc, Exist, Zzap. Анализ стоимости автозапчастей на «сером» рынке», корректирующей ценовую политику.

АНАЛИТИКА ДЕВУШЕК С НИЗКОЙ СОЦИАЛЬНОЙ ОТВЕТСТВЕННОСТЬЮ

Проект разработан для демонстрации нашего бизнес-подхода к извлечению ценности из данных и сравнения ведущих BI платформ. Визуализировали на провокационной теме, какие ценные сведения могла бы извлечь из данных девушка лёгкого поведения, владелец сайта с анкетами, обычный пользователь и авантюрист со своей квартирой, желающий получить дополнительную выгоду с площади.

Источник: analyticsgroup.ru

5 кейсов сквозной аналитики: сложные случаи с автоматизацией бизнес-процессов и дилерскими сетями

Владимир Давыдов

Что такое сквозная аналитика и зачем она нужна? Дилеры, монтажники, учебные центры, штрих-коды — как все это объединить в единую систему?

У компании «Комплето» огромный опыт в ведении проектов со сложной сквозной аналитикой многоканальных непрямых продаж. Наши клиенты — B2B-компании, российские производители с дилерской сетью, а также поставщики сложных товаров и услуг.

Чтобы показать, как работает аналитика в сложных нестандартных проектах, мы расскажем о параметрах, которые нужно измерять, и приведем 5 примеров из нашей практики.

Как увеличить продажи

Вопрос в заголовке волнует нас не меньше, чем наших клиентов. Но прежде, чем на него ответить, нужно определить, какой вид продаж интересует компанию.

• Прямые: покупка происходит непосредственно у производителя.
• Косвенные: продажа через посредников (дилеры, филиалы, франшизы).
• Онлайн или офлайн. Иногда эти виды продаж сочетаются: в b2b-секторе продажа часто начинается онлайн, а закрывается офлайн.
• Рекомендательные: продажа происходит после того, как клиент порекомендовал товар или услугу друзьям, партнерам, знакомым.
• От сформированного или несформированного спроса.
• Повторные.

Маркетинговая стратегия, тактика и способы измерения результатов разнятся в зависимости от вида продаж. Например, работа с несформированным спросом сложнее, чем со сформированным, но при успешном формировании потребности у клиента дает наилучший результат.

Параметры, которые нужно измерять

Чтобы показать компаниям, какие параметры учитываются при настройке аналитики, мы нарисовали схему жизненного цикла клиента:

В схему укладываются все виды продаж и этапы, которые проходит клиент по отношению к компании:

1. Формирование потребностей. Стоимость привлечения клиента на этом этапе максимальна.
2. Поиск решений.
3. Сбор информации.
4. Первичное ознакомление.
5. Приобретение товара или услуги (онлайн, офлайн или по телефону).
6. Использование товара или услуги.
7. Впечатление от покупки. На этом этапе компания или работает с негативом, или получает шанс сделать допродажу.
8. Рекомендации. Стоимость привлечения клиента на этом этапе минимальна.

Воронка продаж обозначена на схеме желтым цветом. Она занимает меньше половины жизненного цикла клиента, но на рынке именно ей уделяется наибольшее внимание. Остальные пункты, как правило, остаются вне стратегии и тактики и, соответственно, вне измерений.

Одно дело — знать, что измерять; другое — фактически измерить.

Практика использования сквозной аналитики

Сквозная аналитика — понятие не новое, и способы ее применения для обычных интернет-магазинов не вызывают вопросов. Мы рассмотрим сквозную аналитику на примере сложных проектов, на которых мы специализируемся:

• Компании, работающие по модели B2B
• Российские компании с дилерской сетью
• Поставщики сложных товаров и услуг, к которым нельзя применить стандартные методы интернет-маркетинга

Кейс 1. Доказать, что интернет маркетинг работает с помощью базовой аналитики

Клиент. Медицинское учреждение.

Проблема. Несмотря на наши усилия, пациентов очень мало. Руководство клиники перестало верить в интернет-маркетинг.

Наши действия

При анализе системы мы обнаружили ее слабое место, и это была IP-телефония. Проблем было несколько:

1. Соединение сбрасывалось: пациент дозванивался до клиники со 2-3 раза.
2. Неточная аналитика. Данные о звонках собирались через calltracking, Google Analytics, 1C и колл-центр, но они были настолько разными, что их достоверность вызывала большие сомнения (см. скриншот).

Тогда мы собрали значимые данные в одну таблицу:

• Даты
• Количество звонков из calltracking и 1С
• Количество записей на прием через интернет-формы и 1С
• Конверсии в пациента после записи
• Конверсии в пациента после звонка в колл-центр

Результат

1. Количество звонков из интернет-каналов осталось стабильным, несмотря на кризис и уменьшение бюджета на маркетинг в 1,5 раза.
2. В зависимости от услуги и канала нам удалось снизить стоимость звонка от 50% до 500%.
3. Пациенты стали записываться на прием на 27% чаще.
4. Обнаружились проблемы с работой колл-центра: сравнив данные за несколько лет, мы поняли, что конверсия из звонка в пациента и из записи в пациента значительно уменьшилась. Колл-центр пришлось формировать заново.

Даже базовая аналитика, когда данные просто собираются в таблицу, помогает находить проблемы в бизнесе.

Кейс 2. Увеличить базу потенциальных клиентов на 70%

Клиент. Мы, маркетинговое агентство «Комплето».

Наши действия

Используем amoCRM, где для каждого посетителя нашего сайта и блога мы сохраняем в CRM его client ID и почту. Получив эти данные, мы можем отследить все многоканальные последовательности от источника трафика до заказа наших услуг для каждого client ID.

Как собрать такую таблицу

Так выглядит запрос в API. После запроса несколько манипуляций в Google Таблицах — и получаем готовый отчет.

Далее каждое полезное действие пользователя (отправка заявки, переход на видеокурс, подписка на рассылку) помечаем баллами. При наборе необходимого количества баллов в определенной последовательности пользователь видит баннер с индивидуальным предложением.

И можно начинать персонифицированную охоту за потенциальными клиентами. В карточке пользователя будет собираться вся информация: с какого поста из социальных сетей перешел, какие статьи его интересовали и даже категории тем, которые он просматривает чаще всего.

Выстроенные один раз последовательности с индивидуальными предложениями пользователям в зависимости от источника перехода на наш сайт, в итоге позволили нам увеличить подписную базу потенциальных клиентов компании на 70%! При этом не было никаких вложений в рекламу.

В зависимости от результатов сквозной аналитики мы можем не только измерять количество продаж, но и подогревать интерес клиента к продуктам компании.

Настроим сквозную отчетность

Объедим веб-аналитику, систему ведения клиентов (CRM), телефонию и софт для бухгалтерии. Мы поможем отследить эффективность до отдельных точек продаж и менеджеров, сведем данные в единый дашборд для руководителей. Оставьте заявку на посадочной — мы проведем для вас бесплатную консультацию и предложим решения специально для вашего бизнеса.

Кейс 3. Наблюдать, как клиент взаимодействует с отделами компании

Клиент. Компания с большим количеством подразделений (техническая поддержка, отдел продаж, учебный центр).

Проблема. Проследить, как клиент проходит через все отделы компании, отдельно сделать аналитику отдела продаж, на каком этапе он совершает покупку, как каждое подразделение влияет на поведение пользователя.

Наши действия

1. Создание системы телефонии и анализ ее работы. В этой системе особенно важно оперативно находить и устранять проблемы, так как взаимодействие компании и клиентов в основном происходит по телефону.
2. Настройка системы аналитики продаж по всем каналам: сайт, колл-центр, техподдержка, форум, дилеры, учебный центр.
3. Анализ и контроль работы дилеров. Компания продает товар через посредников, но не знает, как происходят продажи, что именно продают ее дилеры, как обрабатываются заявки.
4. Анализ эффективности контента. Компания создает большой объем материалов: поддерживает форум, учебный центр и блог. Наша задача — выяснить, как контент воздействует на клиента и в какой момент лучше показать персональное предложение.

Соединив все отделы и системы, мы получили такую схему:

На схеме представлены все отделы и системы компании, а также способы их взаимодействия. Данные по процессам собираются в Google Analytics и хранятся в Google Big Query.

Результат

Объединив данные из всех используемых систем, мы сфокусировались на каждом клиенте и наблюдаем за его действиями по всем каналам.

Кейс 4. Аналитика через четвертые руки

Клиент. Завод по производству стекол. Между заводом и покупателем — три уровня посредников: заводы пластиковых окон, у каждого из которых свои дилеры, у которых есть продавцы, монтажники и клиенты.

Проблема. Проанализировать, где, когда и кому стекло было продано и смонтировано.

Наши действия

Наклеили на все окна QR-коды. В них мы зашифровали все необходимые данные:
— номер,
— завод,
— регион завода,
— дата,
— контрольная сумма,
— тип окна.

Код одинаковый и для клиента, и для монтажника, но способы активации отличаются. Дилерам присылается инструкция, где мы объясняем, что теперь каждый монтажник должен сохранять код со стеклопакета. Код можно либо сразу отсканировать в специальное приложение, либо снять и отсканировать когда и где угодно, либо ввести вручную на сайте. За передачу QR-кодов монтажники получают призы в магазине для монтажников.

Клиент тоже может отсканировать и прислать код и получить за это скидку, приз или возможность участвовать в акции.

Результат

1. Производитель анализирует продажи.
2. Дилеры, которые продают пластиковые окна, отслеживают и контролируют монтаж.
3. Монтажники и клиенты получают бонусы.

Кейс 5. Прозрачные бизнес-процессы в компании с 500+ дилерами и более 3000 торговых точек

Клиент. Компания-производитель, которая продает товар через более чем 500 посредников. В системе взаимодействий существует главный сайт (сайт производителя) и сайты дилеров.

Проблема. Централизовать ассортимент, создать единый каталог на сайте производителя и настроить систему аналитики продаж.

Наши действия

1. Разработка стратегии (2 месяца). Мы углублялись в аналитику бизнес-процессов нашего клиента, рынок, особенности логистики, продаж, работу розничных торговых точек.
2. Разработка сайта (8 месяцев). Мы создали систему «выпрямления» ассортимента, с помощью которой можно унифицировать и выгрузить на сайт весь каталог продукции. Каждый дилер получает личный кабинет, который связывает завод, дилера, субдилеров и конечных клиентов.
3. Настройка системы телефонной аналитики и CRM:

• Работа с телефонией: разработка общей схемы обработки звонков.
• Вывод системы распределения звонков в интерфейсы. Подключение базовых возможностей обработки вызовов.
• Работа с CRM. Настройка связи с сайтом и базовой отчетности, обработка заказов в соответствии с бизнес-процессами.
• Отчетность. Расширенные функции, аналитика по отдельным рекламным каналам. Интеграция CRM и веб-аналитики.
• Подключение внешних систем. Дилеров, системы бронирования остатков. Создание книги продаж и смс-рассылок.

1. Создание системы «Портал», которая объединяет дилерскую часть (количество продаж, оптимизацию процесса закупок, рейтинг дилера), систему отчетов, API, каталог продукции, CRM и систему заказов.

Все работы по этому проекту представлены в презентации ниже:

Результат

1. Увеличены прямые продажи в регионах.
2. Увеличены косвенные продажи через дилеров.
3. Увеличена лояльность у дилеров.
4. Построена сквозная аналитика по всем каналам, включая часть дилеров.
5. Увеличена эффективность текущей рекламы (SEO, контекст, медийка).
6. Сайт, который значительно эффективнее конвертирует посетителей в клиентов.
7. Проделан базовый пласт работ по контент-маркетингу и уже обработан различный спрос: интересующиеся, не готовые, сомневающиеся, склоняющиеся к конкурентам.
8. Дилеры получают возможность проверять складские остатки, формировать счета, показывать индивидуальный ассортимент через личный кабинет.
9. Производитель анализирует продажи от всех посредников.
10. Выстраивается прозрачная связка между инструментами анализа и продаж.

В систему входят каналы привлечения клиентов, сайт производителя, сайты дилеров, IP-телефония, разработанная нами CRM и сквозная аналитика, соединяющая все эти этапы. Каждая заявка обрабатывается в CRM и передается дилерским сетям. В CRM отображается calltracking: все номера помечаются, видны принятые и непринятые звонки.

С помощью системы исключаются ошибки при формировании заказа в торговых точках и покупатель быстрее получает товар.

Выводы

Сквозная аналитика — это важная составляющая электронного маркетинга, но не его цель. Помимо нее в проект входит улучшение сайта, настройка всех видов рекламы и ретаргетинга, разработка имейл-маркетинга и контент-стратегии. Кроме того, нам нужно вникнуть не только в интернет-составляющую, но и в весь маркетинг, продажи и автоматизацию. Только рассматривая все процессы как единую систему, мы достигаем нужного результата.

При настройке сквозной аналитики фокус должен быть не на конверсиях на сайте, трафике или отказах, а на сквозном анализе событий, связанных с бизнес-целями. Событийная бизнес-аналитика должна учитывать то, что происходит на сайте, в розничных магазинах, колл-центрах, мобильных приложениях, а также события в процессе доставки товара и его монтажа.

Существует множество сервисов сквозной аналитики, но ни один из них не заменит работу специалиста, который разберется в бизнес-процессах и разработает систему аналитики под нужды компании.

Источник: blog.completo.ru