Все о технологии Process Mining — кейсы, термины, решения и аналитика. Российский и зарубежный опыт от группы экспертов ProcessMi
Big Data и бизнес-аналитика
Big Data и бизнес-аналитика тесно связаны, когда речь идет о необходимости оптимизации работы, реинжиниринга процессов и повышения эффективности бизнеса.
Big Data – не готовое решение, которое можно приобрести, установить и получать результат, не обладая навыками и знаниями. Это технология, позволяющая в короткие сроки извлечь информацию из огромного массива неструктурированных данных для последующего принятия стратегически выверенных управленческих решений.
К источникам Big Data можно отнести как электронные СМИ, блоги, информационные порталы, форумы, так и корпоративные БД, информацию о транзакциях, архивы, метеорологические приборы, датчики сотовой связи и т.д. Иными словами, всё, что генерирует данные об окружающем мире.
БОЛЬШИЕ ДАННЫЕ В ОФД 📈 КАК ИСПОЛЬЗОВАТЬ BIG DATA В БИЗНЕСЕ
Рынок BigData в России
В 2018 году объём рынка больших данных в России оценивали в пределах от 10 до 30 миллиардов рублей, что составляет порядка двух процентов от мирового. Хотя, по мнению участников рынка, цифра изменится к 2024 году и достигнет отметки в 300 миллиардов.
Российский рынок больших данных молод, пока только набирает объём. Эксперты уверены, что этот факт в свою пользу должны использовать отечественные разработчики. Локальные решения на российском рынке Big Data, по мнению специалистов области, могут занять лидирующие позиции. Для этого есть несколько причин:
- поддержка на русском языке;
- быстрая реакция разработчиков на изменения локального рынка, с точки зрения законодательства в том числе;
- гибкость и готовность предлагать компаниям-клиентам кастомные решения.
Однако, разработчикам надо более предметно подходить к вопросу. Сейчас возникают проблемы, и они касаются поддержки. Речь и о недолгом жизненном цикле решений, и о сложностях интеграции, и о низкой производительности.
Основные потребители больших данных в России, как и в мире – это банковский сектор.
Страховые компании также всерьёз начали присматриваться к Big Data, однако эксперты отмечают, что темпы внедрения очень медленные, и связано это со структурой отечественного рынка страхования, где главная роль отведена агентским продажам.
Эксперты компании «МегаФон» отметили, что в ближайшие годы, экономический эффект от внедрения технологий Big Data вполне может достичь от 0,5 до 1,5% ВВП России.
Зарубежный опыт использования технологий BigData
Мировой объём данных стремительно растёт: если в 2018 году мировое сообщество (пользователи, организации и правительственный сектор) сгенерировали 33 зеттабайта, то в 2025 году эта цифра достигнет 175 зеттабайт. Стоит отметить, что половину данных генерируют Китай и Соединенные Штаты Америки.
Калейдоскоп профессий: Аналитик Big Data | Geekbrains
В январе 2020 года появилась информация о готовности Европейского союза дать ответ технологическим гигантам (Google, Amazon и пр), создав единый рынок данных. Что из этого получится, покажет время. Но факт интересный, и если за заявлением последуют реальные действия, это будет, в своем роде, исторический момент.
Растёт и объём глобального рынка ПО для работы с Big Data: в 2018 по данным консалтинговой компании IDC он достиг 60,66 миллиардов долларов, что на 12,3% больше, чем в 2017 году.
Что относят к решениям BDA? Инструменты и приложения, которые помогают собирать, организовывать, передавать данные, обеспечивать к ним доступ и, конечно, управлять ими.
Рынок Big Data эксперты условно делят на два сектора:
- первый – технологии сбора и хранения больших данных;
- второй – решения для бизнес-анализа, big data analytics (BDA).
Кстати, по версии того же агентства IDC, продажи по обоим секторам будут расти, и к 2020 году объём их достигнет 260 миллиардов долларов.
Что дает бизнес-аналитика?
Бизнес-аналитика – направление для России новое. Оно позволяет исключить догадки и обеспечить бизнес реальными данными о состоянии дел, позволяет прогнозировать сценарии с учётом существующей ситуации и принимать взвешенные управленческие решения. Кроме того, бизнес-аналитика:
- помогает сокращать расходы на рабочую силу и снижать уровень потребления ресурсов;
- предсказывает наступление кризисов за счёт постоянного мониторинга текущего состояния дел. Современные решения способны сигнализировать об ошибках и критических нарушениях в процессах;
- даёт чёткое понимание, где требуется оптимизация;
- повышает безопасность бизнеса и его эффективность.
Для любой компании, независимо от сферы деятельности, важно принимать стратегические решения на основе точных данных и опираться на подтвержденные гипотезы. В этом случае бизнес-анализ – тот самый инструмент. Сейчас, с появлением большого количества систем класса process mining, российских в том числе, которые помогают изучать и прогнозировать сценарии течения бизнес-процессов, у организаций есть все возможности для выхода на новый уровень развития.
Источник: processmi.com
Современный бизнес и Big Data: анализ применений, результатов и перспектив в крупных компаниях и малом бизнесе
Основные сферы применения Big Data в бизнесе – прогнозирование спроса и поведения клиентов, аналитика продаж, оптимизация производственных процессов, наём сотрудников, а также оценка платежеспособности будущих партнеров и выявление недобросовестных контрагентов.
В современных условиях анализ и обработка Big Data становятся все более важным инструментом для достижения успеха. В данной статье генеральный директор и основатель Тендерплана Максим Кузнецов рассмотрит опыт применения Big Data в крупных компаниях России и мира, затронет специфику ключевых тенденций использования массива больших данных, а также расскажет, как малый бизнес уже сегодня может извлечь выгоду из этой технологии.
Big Data – один из главных ресурсов бизнеса сегодня
Основные сферы применения Big Data в бизнесе – прогнозирование спроса и поведения клиентов, аналитика продаж, оптимизация производственных процессов, наём сотрудников, а также оценка платежеспособности будущих партнеров и выявление недобросовестных контрагентов. Big Data позволяет анализировать все больше аспектов бизнеса, а число технологий обработки массивов данных неуклонно растет с каждым днем.
Использование облачных сервисов и интеграция в бизнес-системы ускоряет процесс внедрения механизмов обработки больших массивов данных в бизнес. А для части компаний этот инструмент служит катализатором роста, помогая бизнесу осваивать новые ниши. Высказываются об этом инструменте и первые лица государства – выступая 16 марта 2023 года на съезде Российского союза промышленников и предпринимателей, президент РФ призвал к повсеместному развитию цифровых решений и технологий Big Data. Это неудивительно, ведь для принятия ключевых решений на высоком уровне сегодня также активно используют аналитику большого массива данных.
Опыт применения Big Data в бизнесе
Источники данных Для построения эффективной модели развития и принятия решений бизнесу необходим массив данных о потребителях. Среди его главных источников – цифровые данные корпораций, социальные данные, IoT. Например, Сбер предлагает всем желающим экономическую статистику, основанную на своих открытых данных. В России к этому списку добавляются данные открытых сервисов.
Благодаря активному содействию со стороны правительства бизнес имеет доступ к большим объемам открытых данных как на специализированных порталах, так и через другие источники: Росстат, ЕГРЮЛ, ЕИС и др. Немалая часть информации аккумулируется посредством контрольно-кассовой техники, через которые можно получить емкую подборку потребительских данных.
На основании таких данных бизнес может строить прогнозы и анализировать клиентов. Бизнес может использовать массивы данных с разными целями, например. Прогнозирование спроса и увеличение объема продаж Big Data позволяет персонализировать спрос, прогнозировать рыночные тенденции, провести аналитику конкурентов, понять предпочтения клиентов.
Самый простой пример – система рекомендаций крупнейших интернет-магазинов. На основе машинной обработки предыдущих заказов, предпочтений других покупателей, сезона и многих других факторов клиенту будет рекомендовано приобрести тот или иной продукт.
Общеизвестный пример Amazon – 35% всех продаж генерируют рекомендации, а 86% пользователей сервиса утверждают, что рекомендации влияют на их решения о покупке. Российский розничный бизнес не отстает от зарубежного – например, группа «М.Видео-Эльдорадо».
Компания использует не просто технологии look-alike, а сложные рекомендательные механики на основе собранных массивов данных – поисковых запросов, историй покупок, откликов и незавершенных заказов. Big Data помогают персонализировать сообщения о промоакциях – покупатель получает информацию только о том товаре, который его заинтересует.
Если клиент покинул сайт без покупки, система предложит альтернативу и уведомит о снижении цены. Другой пример – фармацевтические компании в России используют Big Data для настройки таргетированной рекламы своих препаратов, исходя из погодных условий и уровня заболеваемости в регионе.
Это помогает производителю спрогнозировать повышенный спрос на свою продукцию, а потребителю – оперативнее получить лечение. Оптимизация логистических процессов Мониторинг остатков товаров на складах и построение оптимальных маршрутов на основе данных о дорожном движении и состоянии дорог – основные задачи сбора массива данных в логистике.
Использование технологий Big Data логистическими компаниями сегодня – это необходимость, поскольку они позволяют уменьшить простои транспорта и сократить время доставки. Например, один из крупнейших грузоперевозчиков России – ПЭК, в 2019 году запустил Центр управления перевозками на базе аналитики Big Data.
Каждую секунду там обрабатывается огромное количество операций – ЦУП аккумулирует все сведения для прогнозирования загрузки складов и эффективного управления операционной деятельностью. Но если частный бизнес активно работает с Big Data, то как обстоят дела у государственных компаний?
Далеко не все знают, но большие данные используют и в логистическом центре Почты России. После анализа данных о приеме отправлений в отделениях почтовой связи был обнаружен источник дополнительной выручки в размере 250 млн руб. в год.
Оказалось, что при приеме отправлений они иногда оформлялись некорректно и Почта взимала не полную стоимость доставки (она зависит от маршрута и веса отправления), а существенно меньшую сумму. Собранные данные позволили отследить весь путь любого отправления, который проходит из одной информационной системы Почты в другую, сопоставить атрибуты на старте отправления и финише, наладить бизнес-процессы.
Оптимизация производства Big Data используют и для сокращения производственных расходов. Установленные в цехах датчики моделируют производственный процесс и предупреждают о возможных сбоях на производстве. Издержки также снижаются за счет анализа условий получения брака и эффективности тестирования продукции.
Например, компания Intel сократила тестирование своей продукции. Раньше перед поставкой в магазин каждый процессор должен был пройти примерно 19 000 тестов — это долго и дорого. Анализ данных всего производственного процесса помог понять , какие тесты избыточные. В итоге на них удалось сэкономить около $30 млн.
Российский кейс — на заводе «Микрон» тест одной из установок показывал сбой без видимых причин. Приходилось сливать дорогостоящие химикаты и перезапускать установку с различными настройками. Исследование данных позволило найти конкретную причину, которая мешала оборудованию выйти на штатный режим работы.
Как результат, заметно сократились расходы на тестовые запуски, поскольку теперь нужно менять не десятки параметров, а только один. Оптимизация работы HR-департаментов Big Data помогает как нанимать новых сотрудников, так и анализировать эффективность действующих.
Сбор резюме и других данных о соискателях, выявление закономерностей, а также ключевых навыков позволяют отсеять неподходящих и незаинтересованных в работе кандидатов. А анализируя поведение сотрудников, можно построить модель эффективности своих действующих сотрудников и выявить некомпетентных или выгоревших работников. Самый яркий пример здесь — Google.
Отдел аналитики в компании на основе данных Big Data изучает текущее состояние сотрудников, рекомендует время отпуска или премирование, а также предупреждает вышестоящее руководство о намерении того или иного сотрудника уволиться в ближайшее время. Снижение финансовых рисков Крупный бизнес просчитывает финансовые риски в работе с новыми партнерами, а банки оценивают финансовую состоятельность клиента при выдаче кредитного портфеля – в последнее время они активно пользуются аналитикой из социальных сетей для облегчения процесса скоринга.
Финансовые организации уже более 20 лет занимаются анализом больших данных для борьбы с фродом. Сегодня они создают целые отделы – AIDA (Artificial Intelligence and Data Analytics Office), объединяющие взаимодействие Big Data с ИИ. Такая технология позволяет существенно снизить риски невыполнения кредитных обязательств клиентов и максимизировать ценность данных.
Другой яркий пример – Центральный банк РФ , который призывает финансовый сектор использовать большие данные в своей работе: «Технологии больших данных дают финансовым институтам значительные преимущества в управлении рисками, помогают оптимизировать операционную деятельность и бизнес-процессы, усовершенствовать работу финансового рынка. Кроме того, большие данные дают возможность финансовым институтам предоставлять более персонализированные услуги потребителям и расширять объем клиентской базы».
Малый бизнес: нужен ли ему data-based подход Сегодня все больше компаний принимают data-driven решения. Мировыми лидерами по использованию Big Data являются компании США и Китая — около половины компаний в этих странах используют обработку Big Data.
В России рынок больших данных пока только зарождается и используется в основном гигантами бизнес-индустрии, преимущественно относящимися к телекоммуникационным услугам и банковской сфере. А вот интеграция Big Data в малый бизнес происходит сложнее. Это дорогой и сложный процесс, для которого нужны не только финансовые, но и кадровые ресурсы.
Малый бизнес зачастую не готов платить за собственную платформу, поэтому ему проще купить доступ к сервисам, которые предоставляют уже готовую аналитику. Предположим, что вы решили открыть заведение общепита. Вы знаете портрет своего потенциального клиента, конкурентов, просчитали основные издержки.
Но вы не знаете, в каком месте будет наибольший трафик вашей целевой аудитории. Локация ресторана – одно из ключевых условий посещаемости вашего будущего заведения, а значит прибыльности бизнеса.
Являясь одними из ключевых обладателей Big Data, банки анализируют транзакции всех своих клиентов и эквайринговых терминалов, которые обрабатывают платежи, в том числе, сторонних клиентов. На основании этой информации они могут предоставить вам сервис в виде тепловой карты, который подскажет лучшее место для открытия кафе.
Анализируя конкурентную среду в разных точках, проходимость, наличие свободных площадей и другие параметры, алгоритм выдаст наиболее подходящие места для открытия будущего бизнеса. Тенденции использования Big Data Использование анализа массива данных все плотнее проникает в нашу жизнь. Например, статистика Google, основанная на Big Data, показывает интересную вещь.
Перед тем, как медики объявляют о начале эпидемии заболевания в каком-то регионе, в этом регионе существенно возрастает количество поисковых запросов о лечении данного заболевания. Таким образом, правильное изучение данных может спрогнозировать начало эпидемии гораздо раньше, чем об этом объявят официальные органы здравоохранения.
Big Data будет приносить пользу не только бизнесу, но и каждому из нас. Не так давно компания Microsoft представила рынку свой новый продукт Copilot – «второго пилота» для работы. Новый интерфейс бизнес-чата, интегрированный в ежедневно используемые приложения, такие как Word, Excel, PowerPoint способен дать невероятный прирост ежедневной продуктивности.
Например, основываясь на ранее проведенной работе, Copilot поможет вам дописать письмо для клиента в Outlook, подготовит креативную презентацию для команды, добавив в нее релевантный контент из созданного неделю назад документа, и составит план будущего совещания на основе утренних встреч. Однако, на рынке Big Data есть ряд проблем, которые не позволяют ему развиваться еще быстрее.
К таким проблемам можно отнести «грязные данные» (неоднородность собранных данных), необходимость обладать огромными вычислительными мощностями для их обработки, кибератаки и проблемы приватности информации. Несмотря на это, мы наблюдаем стремительное развитие искусственного интеллекта и нейросети, появление новых алгоритмов их работы и упрощение использования.
По оценке экспертов Fortune Business Insights, рынок больших данных ежегодно растет на 13,4%, а значит, что к 2029 году он увеличится до $655,53 млрд. Объем данных, накопленных человечеством, к 2025 году составит 180 зеттабайт. Усилится структуризация данных, компании научатся быстрее отсеивать ненужную информацию. Когнитивные системы позволят чаще и более гибко анализировать данные во многих отраслях и во многих ситуациях, а автоматизация и межмашинное взаимодействие станут основными конкурентами традиционных источников в области создания данных.
Источник: www.it-world.ru
Как Big Data помогает производственным и промышленным компаниям
Сейчас реальный сектор является одной из самых развивающихся сфер в нашей стране с точки зрения использования решений на базе Big Data, включая ПО с открытым исходным кодом, IoT, машинного зрения и искусственного интеллекта. Поговорим о том, как это получилось, и какие кейсы производственные компании решают с помощью внедрения инноваций.
Почему на производствах внедряют инновации
При помощи технологий, построенных на использовании Big Data, компании реального сектора экономики стараются уменьшить себестоимость производимых продуктов, оптимизировать логистику, минимизировать простой складов и оборудования, снизить человеческий фактор. Конкурентным преимуществом для производства сейчас становится информация, извлекаемая из данных, которые раньше практически не использовались.
Например, её источником может стать датчик вибрации на агрегате: поступающие с него показания дают возможность научиться предсказывать механические поломки. Это в ряде случаев позволяет сэкономить на простое более 25%. Использование таких подходов — выбор отраслевых лидеров, которые уже решили для себя вопрос выживания на этом рынке, и стремятся зарабатывать больше.
Однако для прочих участников рынка технологии больших данных становятся вопросом выживания, так как без них сложно показать сопоставимый с компаниями-визионерами результат. Конкуренция с каждым годом становится всё более явным триггером процесса внедрения инноваций. Как только производственная компания видит, что у её непосредственного конкурента ниже себестоимость получения продуктов того же качества, эффективнее решаются проблемы логистики, простоя складов и оборудования, она начинает задумываться о том, какие действия позволят ей сократить процент отбраковки продукции, уменьшить амортизацию, оптимизировать количество сырья и расходных материалов, сократить сопутствующие расходы (например, стоимость электроэнергии), минимизировать длительность простоя и оптимизировать количество сотрудников. Все эти инсайты лежат в области Big Data.
Что представляет собой Big Data в производственных предприятиях
Для начала давайте представим специфику. Обычно крупная производственная компания — это несколько заводов или других объектов, цеха которых оснащены разнообразным оборудованием, туда поступают ресурсы (материалы), проходящие несколько контролируемых стадий. Например, выплавка и прокат стали или разметка и разрезка ткани.
В результате многочисленных операций получается готовый продукт. Помимо информации из систем, управляющих технологическим процессом, производство описывается ещё и датчиками, установленными на оборудовании, которые с заданной периодичностью выдают результат измерения контролируемых показателей.
Информация с одного датчика за период времени — это набор из значений показателя и соответствующим точкам времени его измерения. Обладая этой информацией, можно «отматывать» время назад и видеть, в каком состоянии находилось всё оборудование предприятия в нужный момент времени.
Помимо контроля за состоянием и событиями производственного процесса, выполняемым через датчики, важно чтобы ресурсы поступали в цеха в назначенное время, а оборудование не простаивало. Этой информацией обладают различные MES и ERP-системы, с помощью которых по структурированным данным и запланированным мероприятиям можно увязать технические данные с датчиков и из систем управления техническими процессами с поставленными задачами.
Информации в MES и ERP относительно мало, но она крайне важна для классификации данных с датчиков. Также структурированные данные поступают из других отделов, например, коммерческого, маркетингового, логистического. Сбор и анализ показателей оборудования применим и к непроизводственным средствам.
Так автомобиль, отвечающий за поставку готового продукта, едет по определённому логистическому маршруту. На нём установлены многочисленные датчики, передающие в хранилище данных информацию о качестве того или иного отрезка пути и состоянии узлов и агрегатов автомобиля. Анализируя данные, поступившие с большого количества машин и сопоставляя их с внешними данными (например, о погоде и пробках), можно оптимизировать размещение складов, СТО и маршрутов, и автоматизировать направление авто на ремонт ещё до поломки.
Какие кейсы реализуют производственные компании при помощи больших данных
- Логистика. Тут целых два кейса. Первый — это оптимизация логистики за счёт, в том числе, размещения складов в нужных географических точках, уменьшения пробега транспорта (последней мили), контроля за поставками, исходя из динамического спроса и ценообразования.
- Предиктивные ремонты. Существенно снижается человеческий фактор и ресурсы, требуемые для ремонта. Задачи, которые человек делает дольше машин (например, локализация места произошедшей аварии, подсчёт большого количества чего бы то ни было) — эффективнее отдать машине. Пример: производственная компания проверяет наличие ржавчины на трубах при помощи дронов и приложений на смартфонах сотрудников, так как алгоритмы компьютерного зрения лучше распознают ржавчину в темноте, чем человеческий глаз. На основании собранных данных можно наметить краткосрочные планы ремонта и составить среднесрочный график замены части труб, превратив обслуживание в проактивное из реактивного.
- Оптимизационные математические модели. Не все расчёты, выполненные на бумаге, точно ложатся на реальность, и потому наработанный практический опыт важно сохранить во всех деталях, чтобы в будущем построить математическую модель не по учебникам, а средствами data science — на реальных данных. Например, чтобы сталь обладала определёнными свойствами, в неё добавляют легирующие элементы и настраивают режимы работы агрегатов сталеплавильного производства. Зафиксированные в деталях результаты плавки и её ход создают базу для обучения нейросети, которая впоследствии сможет оптимизировать количество и состав используемого сырья, а также оптимизировать режимы работы оборудования, что может повысить срок наработки на отказ и сократить энергопотребление.
Как развиваются производства
- Антон Балагаев, директор по консалтингу компании Arenadata,
- Антон Денисов, директор по работе с ключевыми заказчиками IBS.
Источник: arenadata.tech