Всем привет! Я Женя Лобанов, директор по стратегическому развитию в AGIMA. Мы уже 15 лет занимаемся заказной разработкой — помогаем нашим заказчикам внедрять digital-решения.
2808 просмотров
Пару лет назад наша компания вплотную занялась разработкой обучающихся алгоритмов. В этой статье расскажу, почему мы вообще обратились к этой сфере и зачем выделили её в отдельное направление. Уверен, наш опыт поможет другим компаниям найти точки роста и масштабироваться.
Как пришли к ML
Машинное обучение и искусственный интеллект захватывают мир. Мы каждый день пользуемся сервисами, в основе которых обучающиеся алгоритмы. Они упрощают жизнь: помогают с покупками, подбирают машину, советуют музыку. По прогнозам Business Insider, только рынок чат-ботов к 2024 году вырастет до 9,4 млрд долларов.
Наша внутренняя статистика подтверждает тренд. Со второго квартала 2020 по третий квартал 2021 года мы получили 2808 заказов. Из них 120 — запросы на продукты с использованием обучающихся алгоритмов. То есть 4% заказов — это заказы именно такого типа. В 2018–2019 году таких было всего 0,5%.
ML-engineer: чем он отличается от Дата-специалистов? | АИИ
За несколько лет спрос вырос почти в 8 раз.
Но даже не это заставило нас внимательнее следить за ML. В тот же период 2020–2021 года 80% заказчиков, с которыми мы уже работали, попросили внедрить в их продукты новые технологии. И все эти технологии подразумевали полное или частичное применение искусственного интеллекта.
В чем сила ML
Почти все наши заказчики, особенно из финтеха и ритейла, обзавелись чат-ботами. Яркий пример — АльфаСтрахование. Их клиенты через Telegram-бота оформляют полисы. Это снимает нагрузку с их сайта и колл-центра и увеличивает лояльность клиентов. Чтобы получить страховку, ты просто открываешь привычный мессенджер.
Позже мы стали чаще применять другие механики машинного обучения. Например, для умных рекомендательных систем. В классической схеме рекомендации основываются на статистике. Большинство покупателей онлайн-магазина вместе с томатной пастой берут оливковое масло и спагетти. Значит, если вы покупаете томатную пасту, система предложит вам именно оливковое масло и спагетти.
Стоит ассортименту смениться, статистика обнуляется. В магазине больше нет того самого оливкового масла. Теперь вместе с томатной пастой вам посоветуют только макароны. Ваш итальянский ужин не состоится.
Но обучающиеся алгоритмы не допустят этого. Они анализируют описание товара при его добавлении в каталог и делают рекомендации исходя из самой его сути. Нет популярного оливкового масла — предложат менее популярное. Нет и его — предложат льняное или подсолнечное. Без масла вы не останетесь.
В этом сила «умных» рекомендаций — они оперируют не статистикой.
Технологии искусственного интеллекта способны выполнять работу, в которой несколько лет назад нельзя было обойтись без человека. Например, мы научили робота ЭкоБот сортировать мусор. Программа распознает на конвейере пластик, стекло, металл и картон. Потом механическая рука распределяет разные типы мусора по разным контейнерам. Человеку остается контролировать и доучивать машину.
ML: Что такое машинное обучение и как это работает?
Эти примеры на практике показали, в чем преимущества обучающихся алгоритмов:
- сокращают рутину за счет ТГ-ботов;
- улучшают продажи за счет рекомендательных систем;
- помогают находить целевую аудиторию через новые SMART-каналы;
- делают клиентский сервис удобнее за счет автоматизации;
- уменьшают издержки благодаря алгоритмам.
Данные исследований, наша внутренняя статистика и успешные кейсы убедили нас, что в будущем цифровой продукт без технологий машинного обучения обречен проигрывать конкурентам. Эта мысль стала отправной точкой для нашего нового направления — AGIMA.AI.
Почему отдельное направление
Как и зачем управлять данными о клиентах для Machine Learning
В статье вы узнаете подробнее о ML: на какие этапы делится процесс машинного обучения и как качество используемых данных влияет на эффективность ML-моделей.
Значение машинного обучения (Machine Learning) растёт. Кто быстрее осваивает ML, тот получает преимущества над конкурентами. Компании часто покупают технологии, чтобы разработать стратегии, но не оценивают готовность данных.
Machine Learning продолжит расти и влиять на бизнес-процессы. Бизнес получит пользу от технологии, если соберёт основу — точные данные. Количество и качество информации влияет на результаты ML.
Используйте машинное обучение на полную мощность
Для работы моделей машинного обучения понадобится достаточное количество релевантных данных. Чем лучше информация, тем продуктивнее работает ML. С неточными, неполными и противоречивыми данными модель выдаёт неправильные результаты. Проверяйте качество информации перед использованием.
Точность прогнозов модели влияет на принятие решений и рост показателей бизнеса. С корректными данными уменьшается риск погрешностей. Если исходные сведения необъективные по отношению к группе N, итог тоже окажется предвзятым. Для машинного обучения нужны разные и репрезентативные наборы сведений.
Модели ML опираются на базу информации, чтобы продолжать обучаться и совершенствоваться. Новые сведения нужны для адаптации и корректировки прогнозов с учётом новых тенденций и закономерностей.
Термины технологии машинного обучения
Алгоритмы — это математические вычисления, которые принимают и корректируют входные данные. Алгоритмы справедливо назвать «мозгом» машинного обучения.
Модель определяет взаимосвязь между входными данными (признаками) и информацией, которую дата сайентисты пытаются предсказать — маркированными данными (доказательствами). К маркированным относят, например, площадь дома или количество продаж за день.
Наборы используются для обучения моделей. Чем больше информации, тем точнее прогнозирование.
Обучение в ML — корректировка модели на основе поступающей информации. Процесс заканчивается, когда дата сайентисты уверены в точности предсказаний модели. В итоге появляется новая информация, которая актуальна в бизнес-среде.
К примеру, распознавание лиц работает, потому что модель обучена на тысячах фотографий и примерах из жизни. Если соцсеть заявляет, что распознает человека на фото «в большинстве случаев», то такой результат успешный.
Big Data — основа для платформ и приложений ML, без которой не будет уверенного результата. Обработанная, очищенная и структурированная информация — обязательное условие для успеха решения задач машинного обучения.
Этапы машинного обучения
Стандартный процесс ML улучшает клиентский опыт, усиливает персонализацию, сегментацию, прогнозирование оттока клиентов и аналитику. Для машинного обучения компании выбирают платформы клиентских данных, которые собирают достаточно информации о клиентах. Например, Altcraft Platform объединяет разные источники сведений в едином окне.
Единый цифровой профиль клиента в Altcraft Platform
Три фазы машинного обучения
Фаза № 1. Это обработка входных данных, которая происходит до получения подготовленного набора информации, или надёжной основы, как упоминалось выше. Сначала определяют источники информации. После работают технологии, которые умеют быстро обрабатывать, проверять и очищать объёмы данных.
Этот этап называют «очисткой данных», и на него уходит большая часть времени и усилий дата сайентистов. Когда входная информация неправильно отформатирована или поступила без нужного контекста, обучение неполноценное: модель не выдаст точных результатов.
Фаза № 2. Здесь окупаются затраты времени и ресурсов на очистку данных на первом этапе. Начинают работать алгоритмы машинного обучения, для которых сведения становятся «тестовыми наборами». Такие комплекты появляются постоянно, поэтому процесс повторяется. Чем больше набор данных, тем лучше модель учится. Дата сайентисты проверяют результаты в течение всего процесса.
Наблюдают за реакцией модели на новую тестовую информацию и подтверждают, что предсказания релевантные.
Фаза № 3. Начинается, когда на предыдущем уровне модель показала надёжность. В третьей фазе начинается «производство»: ML работает с данными в режиме real-time, даёт прогнозы и влияет на бизнес-решения.
Цепочка поставок данных в машинном обучении
Цепочка поставки данных — это сбор, обработка и преобразование данных в основу, которую алгоритмы машинного обучения берут для прогнозов и решений. Точность моделей ML зависит от качества и количества данных в цепочке.
Шаг 1: Сбор
На первом шаге информация собирается из разных источников: баз данных, датчиков, платформ, соцсетей и других. Нужна релевантная и надёжная информация со сценариями и проблемами, которые решают модели ML.
Подготовка данных о клиентах для проектов машинного обучения — не всегда простая задача. Особенно с разрозненными источниками информации вне и внутри организации. Для точности выберите данные, которые с большей вероятностью доведут до цели — предсказания для решения бизнес-задачи. Это не просто возможность реагировать на брошенные корзины или выдавать рекомендации, не сбор последней информации и её усреднение, а предсказание будущего.
Для брендов входные данные включают сведения о веб-активности, покупках и взаимодействии со службой поддержки, поведении пользователей в мобильных приложениях.
Сценарии, в которых информацию не так просто получить, дополняют слоем информации (Data Layer) из слоя хоста (Hosted Data Layer). Статические данные работают как дополнение динамического слоя данных на странице сайта, где информацию собирают в режиме real-time.
Также с учётом новых правил (GDPR и других) компании должны получать согласие на использование персональных данных. Убедитесь, что информация для машинного обучения собирается правильно и законно.
Шаг 2: Стандартизация и нормализация
После сбора данные стандартизируют и преобразовывают в формат, который умеют обрабатывать алгоритмы машинного обучения. Приводят к единообразию независимо от источника или типа. Удаляются дубликаты, неактуальные сведения, заполняют недостающие значения. Данные преобразуют в стандартный формат: CSV или JSON, который умеют обрабатывать алгоритмы машинного обучения.
Для точных результатов алгоритмам машинного обучения нужна последовательная и единообразная информация. Иначе появляются ошибки или смещение в моделях. Например, если данные содержат недостающие значения или несовместимые форматы, алгоритмы ML выдадут неточные или ненадёжные прогнозы.
На этап очистки и нормализации «грязных» данных у дата сайентистов уходят десятки часов. Даже приходится принимать решения по неполной и некорректной информации, которую исследователи не всегда понимают.
Специальные расширения на стороне клиента манипулируют данными и стандартизируют в источнике информацию, которая не подходят для ML. Правильно делать это в браузере клиента по мере поступления сведений со стороны сервера.
Спецификации событий — проверка качества входящих наборов данных в real-time режиме. Запускается, когда возникают новые события. За минуты тестируется чистота информации и соответствие требованиям ML.
Основа данных для машинного обучения и бизнеса
Надёжные данные пригодятся не только для работы машинного обучения. Точная и проверенная информация — это обоснованные data-driven решения. Если вести бизнес без опоры на данные, риск финансовых потерь увеличивается.
Полная и точная информация о клиентах подскажет, как адаптировать продукты, услуги и контент в каналах продвижения, чтобы удовлетворить потребности клиентов.
Основа данных приводит к росту бизнеса, упрощает автоматизацию повторяющихся задач и освобождает время сотрудников, которые начинают заниматься стратегиями, а не рутиной. В итоге растёт производительность, экономится бюджет и увеличивается рентабельность. С данными проще выявлять тенденции и закономерности в бизнес-сфере и быстрее реагировать на изменения на рынке: запускать новые продукты, услуги и принимать обоснованные решения.
Также без правильного сбора, организации и управления информацией бизнес не будет соответствовать требованиям GDPR и CCPA.
Работайте с данными грамотно в Altcraft Platform. Храните информацию в безопасности в одном окне на вашем сервере. Повышайте лояльность и уровень продаж. В платформе также доступен ML модуль — Best Send Time. Вы сможете настроить отправку писем таким образом, что ваши клиенты будут получать сообщения в удобное для них время.
Это значительно повысит вовлечённость подписчиков.
Подписывайтесь на наш телеграм-канал. Там вы найдёте актуальные новости в области digital-маркетинга, полезные статьи и интересные исследования. Будьте в теме вместе с нами 🙂
Источник: spark.ru
Ml бизнес что это
Технологии машинного обучения и предиктивного анализа стремительно ворвались в тренды последних лет. В общих словах, Machine Learning (ML) – классы алгоритмов, позволяющие компьютеру делать выводы на основании данных, не будучи явно запрограммированным. В основе моделей машинного обучения лежат такие принципы, как математическая статистика, теория вероятности, линейная алгебра, теория оптимизации и другие.
Одно из направлений ML – это обучение без учителя. В этом случае компьютер будет самостоятельно искать закономерности в данных. Такой подход может применяться, например, для выявления фрода в бизнес-процессах.
Другое направление – это обучение с учителем. В этом случае компьютер получает большой массив примеров и старается обобщить их, используя для дальнейшего прогнозирования. Работает это так: зная, как реагирует клиент или клинер в конкретной ситуации, мы можем создать алгоритм, обобщающий их поведение. По сути, данные типа «ситуация – реакция пользователя» формируют обучающую выборку для ML. Важными факторами являются как объем обучающей выборки, так и грамотная оценка способности полученной модели к обобщению.
Зачем это нам?
Основной целью внедрения решений на базе ML было поддержание гармоничного роста компании путем эффективного управления спросом со стороны клиентов и предложением со стороны клинеров.
В основе поставленной цели была простая логика – делая оценку текущих заказов и предсказывая изменения факторов на будущее, мы сможем заранее выработать наиболее оптимальные сценарии обработки заказов. Как следствие – повышение качества нашего продукта и минимизация операционных издержек.
Понимая, что алгоритмы ML не создают каких-то новых бизнес-процессов, а лишь оптимизируют существующие, мы пересмотрели часть из них. Именно выстроенные бизнес-процессы и накопленные за годы работы данные о клиентском и клинерском поведении позволили нам начать процесс внедрения предсказательной аналитики в Qlean. Прошло уже практически два года, как мы сделали первые шаги в оптимизации наших процессов с помощью ML.
Откуда брали данные?
Итак, первый шаг – это собрать воедино данные о заказе и о поведении клиентов и клинеров. Для этого мы использовали разные данные:
- логи изменений заказов
- логи клинероской активности
- логи клиентской активности
- метаданные о заказе, клинере и клиенте
- данные из нашей CRM-системы
- комментарии и отзывы клиента
- внешние данные (праздничные дни, тренды поисковых запросов и пр.)
Что мы делали с данными?
После сбора данных начинается второй шаг: их предобработка, исходя из конкретного бизнесс-процесса и цели. Очевидно, что параметры, имеющие хорошую предсказательную способность для одного процесса, могут быть полностью бесполезны для другого. Например, положение квартиры может влиять на «привлекательность» заказа для клинера, но быть полностью бесполезным при оценке вероятности отмены этого заказа клиентом. Таким образом, второй шаг обычно состоит из:
- первичного отбора факторов, основанного на бизнес-логике
- очистки и предобработки данных
- генерации новых факторов
В итоге мы получаем набор параметров, создающих для Qlean «портрет личности» с его набором предпочтений, привычек и особенностей в рамках конкретного процесса. Это важный шаг перед заключительным этапом отбора значимых параметров, построения самой предиктивной модели и началом ее эксплуатации.