Машинное обучение, или machine learning, используют в работе многие западные и российские компании. Часто мы не догадываемся, что тот или иной процесс в организации или функция в мобильном приложении реализованы благодаря технологии машинного обучения. Так, machine learning позволяет программам предсказывать неисправности в промышленных станках, точно прогнозировать поведение клиентов интернет-магазина, ставить пациентам диагнозы.
В статье мы рассмотрим примеры машинного обучения в бизнесе.
Чем занимается искусственный интеллект на производстве и добыче ископаемых?
ИИ сокращает простои
Если завод не закажет сырье вовремя или не успеет вовремя предотвратить поломку станка, владельцы потеряют десятки миллионов рублей. Или не потеряют, если оборудовали станки датчиками, которые собирают показатели, анализируют их, составляют алгоритмы прогнозирования неисправностей и заблаговременно оповещают техперсонал до того, как дефект привел к катастрофе. Это — применение машинного обучения в производстве.
Машинное обучение в БИЗНЕСЕ! Применяем кластеризацию для магазина [Машинное обучение в Python]
Например, компания GE Oilhttps://indev.pro/blog/10_ml_cases_for_business» target=»_blank»]indev.pro[/mask_link]
Применение машинного обучения при формировании базы коммерческого назначения
В настоящее время становится популярным такой подход к извлечению информации, как машинное обучение. На базе его принципов и алгоритмов создается множество аналитических решений в бизнесе и процессы формирования коммерческих баз данных.
Методы получения знаний
Существует многообразие бизнес-задач и большинство из них решаются по одной методике. Методы, практически, не имеют зависимости от информационной модели; это есть набор дробных действий, сочетая их, можно построить аналитический механизм.
В машинном обучении имеются шаги на которых выполняется подготовка данных, выбор информативных признаков, очистка, построение моделей, постобработка и интерпретация полученных результатов. Рассмотрим подробнее последовательность шагов, выполняемых на каждом шаге машинного обучения. Отбор признаков. Первым шагом в анализе является получение исходной выборки.
И как показывает практика, это один из сложных этапов, и от которого больше всего зависит эффективность всего анализа. На базе отфильтрованных данных происходит построение модели, где необходимо участие экспертов для выдвижения гипотез и отбора факторов, влияющих на анализируемый процесс. Желательно, чтобы данные были уже собраны и преобразованы в единый формат. При отборе признаков часто используются удобные механизмы для подготовки выборки: запросы, фильтрация данных и сэмплинг.
Очистка данных.
Очистка и подготовка данных это очень важный шаг в любом проекте с машинным обучением. Почти всегда, полученные данные имеют плохое качество и содержат много «мусорной» информации. Вне зависимости от используемых технологий и алгоритмов, исходные данные перед использованием должны быть очищены. Более того, эта задача может представлять самостоятельную ценность в областях, не имеющих непосредственного отношения к анализу данных. Очистка данные включает в себя: подавление аномальных значений, заполнение пропусков, сглаживание, удаление дубликатов и противоречий и пр.
Как решить бизнес-задачу с помощью машинного обучения, Полина Чикурова, Контур
Трансформация данных.
Заключительным этапом преобразования данных является трансформация. Трансформация применяется для тех методов, при использовании которых исходные данные должны быть представлены в конкретном виде. Суть в том, что разным алгоритмам анализа необходимы подготовленные, различным способом, данные. Например, для прогнозирования необходимо преобразовать временной ряд при помощи скользящего окна или вычислить агрегированные показатели. К задачам трансформации данных относятся: скользящее окно, приведение типов, выделение временных интервалов, квантование, сортировка, группировка и пр.
Интерпретация.
В случае, когда извлеченные зависимости и шаблоны непрозрачны для пользователя, должны существовать методы постобработки, позволяющие привести их к интерпретируемому виду. Для оценки качества полученной модели нужно использовать как формальные методы, так и знания аналитика. Именно аналитик может сказать, насколько применима полученная модель к реальным данным. Построенные модели являются, по сути, формализованными знаниями эксперта, следовательно, их можно тиражировать. Найденные знания должны быть применимы и к новым данным с некоторой степенью достоверности.
Построение модели
Следующим шагом является построение модели. Зависимости и шаблоны должны быть нетривиальными и ранее неизвестными, например, сведения о средних продажах таковыми не являются. Знания должны описывать новые связи между свойствами, предсказывать значения одних признаков на основе других.
- Классификация – это зависимость входных данных от дискретных выходных.
- Регрессия – это зависимость между входными данными и непрерывными выходными.
- Кластеризация – это группировка данных руководствуясь свойствами этих данных. Данные внутри кластера должны иметь одинаковые свойства и отличаться от свойств данных других кластеров.
- Ассоциация – поиск закономерностей между связанными событиями. К примеру, можно привести следующее правило, что из события X следует событие Y. Такие правила называются ассоциативными.
Задача классификации отличается от задачи регрессии тем, что в классификации на выходе присутствует переменная дискретного вида, называемая меткой класса. Решение задачи классификации сводится к определению класса объекта по его признакам, при этом множество классов, к которым может быть отнесен объект, известно заранее. В задаче регрессии выходная переменная является непрерывной — множеством действительных чисел, например, сумма продаж задаче регрессии сводится, в частности, прогнозирование временного ряда на основе исторических данных.
Кластеризация отличается от классификации тем, что выходная переменная не требуется, а число кластеров, в которые необходимо сгруппировать все множество данных, может быть неизвестным. Выходом кластеризации является не готовый ответ (например, плохо/удовлетворительно/хорошо), а группы похожих объектов – кластеры. Кластеризация указывает только на схожесть объектов, и не более того. Для объяснения образовавшихся кластеров необходима их дополнительная интерпретация. Перечислим наиболее известные применения этих задач в экономике.
Классификация используется, если заранее известный класс, например, при отнесении нового товара к той или иной товарной группе, клиента к какой-либо категории (при кредитовании – по каким-то признакам к одной из групп риска). Регрессия используется для установления зависимостей между факторами. Например, в задаче прогнозирования зависимая величина – прибыль компании, а факторы, которые влияют на нее, может быть количество проданного товара, продуктивность работников, экономическая обстановка страны и т. д. Или, например, скоринг при оценке кредитоспособности частных лиц, которая имеет зависимость от возраста, профессии, занятости, наличия имущества и т.д.
Кластеризация может использоваться для сегментации и построения профилей клиентов. При достаточно большом количестве клиентов становится трудно подходить к каждому индивидуально, поэтому их удобно объединять в группы — сегменты с однородными признаками. Выделять сегменты можно по нескольким группам признаков, например, по сфере деятельности, по географическому расположению. После кластеризации можно узнать, какие сегменты наиболее активны, какие приносят наибольшую прибыль, выделить характерные для них признаки. Эффективность работы с клиентами повышается благодаря учету их персональных предпочтений.
Ассоциативные правила позволяют выявить одновременно приобретаемые товары или услуги. К примеру, это можно использовать в рекомендательной системе интернет магазина, для более эффективных продаж. Когда пользователь покупает, например, радиоуправляемую машину, то нужно предложить ему также купить и набор батареек к ней.
Последовательные шаблоны также используется при эффективном планировании продаж и предоставлении услуг. У них велико сходство с ассоциативными правилами, но при анализе важен порядок совершения событий. К примеру, если клиент, в банке, открыл счет до востребования и приобрел ценные бумаги, то с вероятностью 70% при следующем обращении он возьмет депозитный сертификат.
Выше упомянуты основные классы задач, которые возможно решить посредством алгоритмов машинного обучения. Также существует несколько современных подходов, которые используются вместе с алгоритмами машинного обучения, делая анализ более точным.
К примеру, генетические алгоритмы способны эффективно решать задачи оптимизации, которые используются для обучения нейронных сетей, карт Кохонена, логистической регрессии, при отборе значимых признаков. Математический аппарат нечеткой логики также успешно включается в состав практически всех алгоритмов машинного обучения; так появились нечеткие нейронные сети, нечеткие деревья решений.
При помощи нечеткого поиска в базах данных, оперируя нечеткими понятиями, позволяет сделать нечеткие срезы, благодаря которым возможно, к примеру, отбирать релевантные объекты. И подобных примеров множество. В наше время компании собирают огромный объем данных, на их основе можно принимать различные бизнес-решения. Дальнейшим шагом развития систем, которые принимают решения руководствуясь существующими данными, являются системы автоматизированного принятия решения. Точнее, виртуальные помощники, дающие советы по поддержке и развитию бизнеса.
Опубликовано в сборнике “Огаревские чтения 16”
Источник: blog.zverit.com
Как технологии машинного обучения меняют бизнес
Люди ежедневно сталкиваются с результатами машинного обучения: «умные» алгоритмы в соцсетях, чат-боты в онлайн-магазинах, камеры с распознаванием лиц в общественных местах — все это часть жизни. Компании продолжают внедрять технологии в свои бизнес-процессы для анализа рисков, изучения аудитории и сокращения затрат. Павел Кривозубов, руководитель направления «Робототехника и искусственный интеллект» кластера информационных технологий Фонда «Сколково», рассказывает, как машинное обучение применяется в бизнесе.
630 просмотров
Искусственный интеллект все чаще рассматривается как вспомогательный инструмент, помогающий оптимизировать бизнес-процессы и сократить затраты. Это программное обеспечение может самостоятельно принимать решения и действовать даже в тех ситуациях, которые не были изначально предусмотрены разработчиками. Например, обнаружить новый вид мошенничества.
Машинное обучение (machine learning, ML) — часть искусственного интеллекта. Оно используется в системах, которые собирают большие объемы данных. Например, интеллектуальные системы управления энергопотреблением забирают данные с датчиков на различных объектах. Затем с помощью алгоритмов данные анализируются, а результаты отправляются лицам, принимающих решение в компании для лучшего понимания потребностей в потреблении электроэнергии и техническом обслуживании.
Главное отличие ML от стандартизированных алгоритмов — его адаптивность, потому что оно постоянно развивается и обучается. Чем больше данных потребляет алгоритм, тем точнее будут его аналитика и прогнозы. Технология активно внедряется во множестве областей: сельское хозяйство, медицинские исследования, фондовый рынок, мониторинг дорожного движения, контроль производства и так далее.
Вот несколько популярных сервисов от резидентов «Сколково» на основе машинного обучения.
Чат-боты ускоряют обслуживание клиентов
Сейчас почти на каждом сайте можно встретить виртуального консультанта, который фильтрует запросы и отвечает на вопросы пользователя. Это позволяет снизить нагрузку на персонал и фонд оплаты труда, за счет чего бизнес может сэкономить. Кроме того, машинное обучение помогает развивать базу знаний чат-бота, так как чем больше вопросов — тем больше данных. И через полгода-год после внедрения системы виртуальный консультант может ответить практически на все вопросы, оставляя возможность подключить оператора для более сложных вопросов.
Системы поддержки принятия решений уменьшают количество ошибок
Технология часто используется на производственном секторе. Например, в систему можно загрузить статистику поломок и устройств. За счет анализа этих данных нейросеть сможет сделать прогноз о выходе из строя или поломке устройства и подсказать, когда нужно провести профилактический ремонт, чтобы избежать дорогостоящего ремонта в случае поломки. Второй пример — рост или падение игроков фондового рынка. Этот инструмент популярен у профессиональных инвесторов.
Еще одна из перспективных индустрий в этой направлении — здравоохранение. В кластере биомедицинских технологий «Сколково» разрабатывают систему, которая на основе снимков и прогнозной аналитики помогает выявлять различные заболевания. Например, компания «Третье мнение» объединяет модули анализа радиологических исследований (рентген, УЗИ, КТ, МРТ), оцифрованных лабораторных исследований, снимков глазного дна и модуль видеомониторинга. Система умеет анализировать снимок, находить патологии и проверять врача — это помогает ускорить диагностику и снизить количество врачебных ошибок.
Анализ данных помогает быстро проверять резюме и документы
HR-специалисты часто перегружены сотнями и тысячами резюме, когда занимаются массовым подбором персонала. Машинное обучение помогает стандартизировать процесс найма, чтобы ускорить организацию и анализ писем о приеме на работу. Кроме того, технология позволяет создать профиль идеального кандидата на основе данных о текущих сотрудниках. В результате повышается скорость найма и уменьшается объем рутинных задач у HR-специалистов.
Например, сколковский онлайн-сервис GoRecruit помогает сократить время и деньги на закрытие вакансий. Встроенный искусственный интеллект оценивает сотрудника по 50 параметрам, чтобы дать представление, насколько человек соответствует ожиданиям компании. Помимо того, что решение умеет анализировать резюме, оно собирает данные из открытых баз данных — МВД, ИФНС, ГИС ГМП, Бюро кредитных историй, ГИБДД, ФССП, Арбитражные суды и другие. В целом сервис полезен не только рекрутерам для проверки сотрудника перед наймом, но и для оценки продавца перед покупкой машины или недвижимости, проверки контрагента, при найме домашнего персонала и даже при начале романтических отношений.
Персонализация повышает уровень обслуживания клиентов
Машинное обучение помогает вывести клиентский сервис и коммуникацию на новый уровень. Оно повышает вовлеченность и удовлетворенность пользователей и покупателей за счет того, что предоставляет компании больше данных и помогает точечно выстраивать коммуникацию на основе интересов и действий конкретного человека. Например, предлагает персональные товары исходя из последних покупок или рассчитывает индивидуальную скидку на базе взаимодействия с брендом.
Российский сервис для оптимизации контекстной рекламы AnData строит цифровой портрет клиента за счет анализа больших данных об его действиях в сети. Это помогает рекламодателям настроить таргетированную рекламу с учетом конкретной специфики под каждую аудиторию. Также система прогнозирует, как предлагаемые изменения скажутся на конверсии и CPL кампании, за счет чего можно оптимизировать кампанию по отдельным параметрам, например, ключевым словам, часам, дням недели и геолокации.
ML постоянно развивается и обладает огромным потенциалом использования в бизнесе, но большинство компаний все еще находятся в начальной стадии внедрения технологии. Новый виток роста произойдет, когда основные инструменты разработки машинного обучения станут доступными для каждой компании и внедрить технологию можно будет независимо от сложности технической базы и опыта. За счет этого бизнес любого размера сможет позволить себе ML-алгоритмы для решения своих задач и оптимизации бизнес-процессов.
Источник: vc.ru
