Технологии big data и их использование в бизнесе

Технологии Big Data уже стали традицией. Большие данные активно используют маркетологи в онлайн-рекламе и маркетинговых коммуникациях, они позволяют оптимизировать расходы в логистике и производстве. Яркий пример – работа американской компании оптовой и розничной торговли Walmart, огромной сети магазинов.

Они обрабатывают около 2,5 петабайт (2500 терабайт) данных каждый час из 200 внутренних и внешних источников, отслеживая ситуацию в торговых точках – в соответствии с меняющимся поведением клиентов компания оперативно корректирует цены на товары.

При этом, оснастив датчиками собственный автопарк, компания собирает данные о передвижении машин с товарами в режиме реального времени: благодаря этой информации ритейлер оптимизирует собственные поставки товаров и логистику в целом.

Методы анализа больших данных построены на технологии машинного обучения. С его помощью формируются алгоритмы, которые способны находить скрытые взаимосвязи, дообучаться, строить прогнозы и тем самым оптимизировать различные бизнес-процессы и формировать рекомендации. Большие данные, как технология, позволяют отработать гораздо большее количество гипотез, чем в состоянии сделать человек, тем самым помогая своевременно реагировать на различные изменения, сокращать потери денежных средств и других ресурсов, совершенствовать различные процессы.

Что такое Big Data

Как это работает?

В 2017 году мы получили предложение от британского партнера Beauty Brains оптимизировать маркетинговые коммуникации на основе больших данных для трех британских интернет-магазинов товаров косметики и средств ухода. Проще говоря, нам нужно было понять интересы аудитории каждого бренда, чтобы персонализировать email-рассылки, обеспечить рост повторных покупок и снизить стоимость удержания постоянных клиентов.

У каждого магазина своя аудитория и накопленный определенный объем ценных данных о покупках из CRM-систем. Именно собственные данные о потребительском поведении являются наиболее ценными для последующей обработки и формирования правильных выводов.

Какие данные мы собирали?

Big Data как универсальный инструмент для бизнеса

С девяностых годов крупные корпорации стали осознавать, что им принадлежит новый ценный ресурс – информация. Кроме того, пришло понимание, что с течением времени любых данных становится больше, а, как следствие, возникает необходимость их систематизации. Требуется место для хранения и обработки информации, а также мощные ресурсы для анализа. В этом ключе значение данных для бизнеса особенно очевидно в контексте информационных технологий. Сергей Левашов, руководитель центра бизнес-аналитики ГК «РАМАКС», рассказал об актуальной работе с большими данными.

Сергей Левашов
директор Центра бизнес-анализа ГК «РАМАКС»

Виды больших данных

Накапливаемые бизнесом данные можно разделить на структурированные и неструктурированные. К первой категории относят упорядочиваемые данные одной предметной области. Например, сведения об операциях в сети, показания датчиков, персональные данные, детализация звонков по телефону. Данные как правило представлены в формате таблиц и баз данных.

Big Data: как новые технологи помогают строить бизнес

Ко второй категории принадлежит информация, которая не может быть представлена в структурном виде. Например, аудиозаписи разговоров, видео с камер наблюдения, фотографии, тексты и др.

Задачи анализа данных и применение в бизнесе

Big Data аккумулируют для дальнейшей аналитики, выявления закономерностей, тестирования гипотез. Сфера применения результатов аналитики не ограничивается практически ничем. Например, специалисты RAMAX Group прибегали к работе с Big Data на проектах по предиктивному ремонту и обслуживанию. Для этих проектов определялись закономерности в работе оборудования, прогнозировалось состояние деталей, износ, обеспечивалась эффективная эксплуатация со своевременной заменой.

Популярны на сегодня Big Data для аналитики активности пользователей в Интернете. Причем, «под прицелом» не только транзакции с финансовыми организациями онлайн, но и любые действия в социальных сетях, любой поиск. Это позволяет компаниям генерировать клиентоориентированные предложения, увеличивать спрос, оптимизировать маркетинговые бюджеты.

Читайте также: Скайп бизнес нет звука

Большие данные позволяют расширять возможности и в сфере безопасности данных. Например, банки сегодня внедряют системы идентификации по голосу и лицу, ритейл – позволяет таким образом оплачивать покупки. В транспортной отрасли для компании «Аэрофлот» мы реализовали проект по оптимизации использования грузопочтовой квоты на пассажирских рейсах.

Big Data в наши дни

Крупный бизнес уже взял на вооружение Big Data и работает с инструментом в той или иной мере. Для хранения и обработки больших данных требуются инфраструктура, которая позволит оперативно реагировать на поступление одних данных и постоянно накапливать другие. Для решения первой задачи прибегают к применению кластерных решений, например, Hadoop. Для комплексного подхода применяются решения типа Teradata, Oracle Exadata или SAP.

Почему не hadoop: создаём свое решение на node + mongo + lxd

Корпорация Microsoft предлагает широкий выбор продуктов для анализа Big Data, лучшим среди которых является Azure. Благодаря ему можно анализировать информацию в распределенном облачном хранилище и обрабатывать ее в online-формате.

Самым эффективным методом хранения информации считается создание так называемых «озер данных» или Data Lake. Впоследствии происходит выстраивание отдельного аналитического контура для обработки данных и создания управленческих решений. В этом качестве выступают различные BI-системы (кубы, графические дашборды и прочие).

Для производственных корпораций актуальны платформы, анализирующие жизненный цикл оборудования и бизнес-процессы для реализации предиктивных технологий ремонтов, в закупках и составлении прогнозов событий, которые связаны с процессом производства.

Кризис, вызванный пандемией, способствовал переводу хранилищ данных в облака. Этот сценарий гораздо более эффективен как с точки зрения возможностей анализа данных, так и с точки зрения экономии расходов предприятий на их хранение и обработку.

Что ждет Big Data?

Вероятнее всего, какого-то взрывного роста в области Big Data в обозримом будущем ожидать не стоит. Для этого необходимо кратное увеличение использования всевозможных устройств, развитие online-сервисов, абсолютный отказ от использования наличных.

При имеющихся вводных на сегодняшний день возможно планомерное развитие в нескольких направлениях: в медицине и предиктивной аналитике любых отраслей. В первом случае возможно расширение применения индивидуальных датчиков для отслеживания состояния здоровья, данные с которых будут помогать в диагностике состояния здоровья человека и предотвращать обострения хронических заболеваний, как сейчас это реализовано Apple в функциональности наручных часов. Во втором – для регулирования социальной сферы. В США, например, уже несколько лет функционируют пилоты платформ, предсказывающие преступления.

Еще недавно большой бизнес с трудом понимал, для каких целей можно применять Big Data, какие задачи решать на основе их анализа. Сегодня же все отрасли экономики активно пользуются возможностями, которые открывают результаты аналитики. В конечном счете цель одна – рост эффективности бизнеса. И то, что мы видим сегодня – совершенно точно не предел.

Источник: tproger.ru