Всем привет! Я Женя Лобанов, директор по стратегическому развитию в AGIMA. Мы уже 15 лет занимаемся заказной разработкой — помогаем нашим заказчикам внедрять digital-решения.
Пару лет назад наша компания вплотную занялась разработкой обучающихся алгоритмов. В этой статье расскажу, почему мы вообще обратились к этой сфере и зачем выделили её в отдельное направление. Уверен, наш опыт поможет другим компаниям найти точки роста и масштабироваться.
Как пришли к ML
Машинное обучение и искусственный интеллект захватывают мир. Мы каждый день пользуемся сервисами, в основе которых обучающиеся алгоритмы. Они упрощают жизнь: помогают с покупками, подбирают машину, советуют музыку. По прогнозам Business Insider, , только рынок чат-ботов к 2024 году вырастет до 9,4 млрд долларов.
Наша внутренняя статистика подтверждает тренд. Со второго квартала 2020 по третий квартал 2021 года мы получили 2808 заказов. Из них 120 — запросы на продукты с использованием обучающихся алгоритмов. То есть 4% заказов — это заказы именно такого типа. В 2018–2019 году таких было всего 0,5%.
Краткий ликбез по ML метрикам и их связи с бизнес-метриками
За несколько лет спрос вырос почти в 8 раз.
Но даже не это заставило нас внимательнее следить за ML. В тот же период 2020–2021 года 80% заказчиков, с которыми мы уже работали, попросили внедрить в их продукты новые технологии. И все эти технологии подразумевали полное или частичное применение искусственного интеллекта.
В чем сила ML
Почти все наши заказчики, особенно из финтеха и ритейла, обзавелись чат-ботами. Яркий пример — АльфаСтрахование. Их клиенты через Telegram-бота оформляют полисы. Это снимает нагрузку с их сайта и колл-центра и увеличивает лояльность клиентов. Чтобы получить страховку, ты просто открываешь привычный мессенджер.
Позже мы стали чаще применять другие механики машинного обучения. Например, для умных рекомендательных систем. В классической схеме рекомендации основываются на статистике. Большинство покупателей онлайн-магазина вместе с томатной пастой берут оливковое масло и спагетти. Значит, если вы покупаете томатную пасту, система предложит вам именно оливковое масло и спагетти.
Стоит ассортименту смениться, статистика обнуляется. В магазине больше нет того самого оливкового масла. Теперь вместе с томатной пастой вам посоветуют только макароны. Ваш итальянский ужин не состоится.
Но обучающиеся алгоритмы не допустят этого. Они анализируют описание товара при его добавлении в каталог и делают рекомендации исходя из самой его сути. Нет популярного оливкового масла — предложат менее популярное. Нет и его — предложат льняное или подсолнечное. Без масла вы не останетесь.
В этом сила «умных» рекомендаций — они оперируют не статистикой.
Технологии искусственного интеллекта способны выполнять работу, в которой несколько лет назад нельзя было обойтись без человека. Например, мы научили робота ЭкоБот сортировать мусор. Программа распознает на конвейере пластик, стекло, металл и картон. Потом механическая рука распределяет разные типы мусора по разным контейнерам. Человеку остается контролировать и доучивать машину.
ML: Что такое машинное обучение и как это работает?
Эти примеры на практике показали, в чем преимущества обучающихся алгоритмов:
- сокращают рутину за счет ТГ-ботов;
- улучшают продажи за счет рекомендательных систем;
- помогают находить целевую аудиторию через новые SMART-каналы;
- делают клиентский сервис удобнее за счет автоматизации;
- уменьшают издержки благодаря алгоритмам.
Данные исследований , наша внутренняя статистика и успешные кейсы убедили нас, что в будущем цифровой продукт без технологий машинного обучения обречен проигрывать конкурентам. Эта мысль стала отправной точкой для нашего нового направления — AGIMA.AI.
Почему отдельное направление
К чему подготовить бизнес перед использованием AI и ML
Искусственный интеллект (AI) и машинное обучение (ML) важны, когда у компании много данных и нужно упростить работу с ними или больше зарабатывать с их помощью. Такой сценарий актуален, к примеру, для маркетинга, IT- и банковской сфер.
1889 просмотров
Ак Барс Банк, чтобы поделиться опытом в обработке клиентских сведений, организовал на Kazan Digital Week 2021 секцию «AI
В обычной жизни люди сталкиваются с Al и ML, сами того не замечая. Например, вы на рабочем ноутбуке читали про новую модель iPhone, и уже по дороге домой в Instagram вам то и дело предлагают рекламные объявления в духе «новый iPhone в рассрочку».
Еще один пример. Вам нужно срочно заполнить сайт текстом, и вы обращаетесь в контент-агентство в надежде, что за вашу задачу быстро возьмутся. Свободных копирайтеров нет, зато агентство использует технологии искусственного интеллекта — и вы тут же получаете готовые тексты для сайта.
Сейчас AI и ML наиболее широко используют в шести направлениях:
- Аналитика, управление проектами и принятие решений.
- Обработка естественной речи.
- Персонализация маркетинга и обслуживания.
- Интернет вещей и цифровые двойники.
- Автономные устройства (например, роботы-пылесосы).
- AI-разработка (например, разработка бизнес-решений без привлечения консультантов).
Почему не все компании используют данные
Чтобы использовать искусственный интеллект и машинное обучение в компании, нужно собрать данные о клиентах. Весь этот объем информации называется Big Data — база данных, которые компании получают из внешних и внутренних источников: отчетов, данных службы поддержки и отдела продаж, систем аналитики и действий самих клиентов.
Самый простой пример — опросы в чат-ботах или по электронной почте. Клиент отвечает на вопросы, его ответы переносятся в базу, после чего можно подключить к работе AI и ML и создать для него персональное предложение.
Условно все компании можно разделить на 3 группы:
- We have nothing: не используют данные, потому что не понимают или не видят в этом смысла. Как правило, у них большой дефицит в специалистах, очень дорогие облачные или коробочные решения, сложный процесс внедрения новых технологий. Начать работу с данными здесь сложнее и дольше всего.
- We have data: только начинают использовать данные в работе, собирают аналитику, чтобы понимать, как работает их бизнес. У них, как и в первой группе, могут быть дорогие облачные или коробочные решения, постоянный дефицит кадров, устаревший набор технологий.
- Data-Driven Company: хорошо выстроили data-driven-процессы. Они уже умеют собирать и применять данные в бизнесе. Именно в таких компаниях новые технологии быстро приживаются и развиваются.
Условная классификация компаний по уровню работы с данными
На работу с данными перешли еще не все компании, потому что data-бизнес, включая AI и ML, очень молод, ему 10 лет. Он все еще развивается, и технологии быстро сменяют друг друга. Если компания хочет успевать за обновлениями, в штате нужен хотя бы один человек, который разбирается в данных, готов изучать новые AI-решения и внедрять их в бизнес. Но специалистов, разбирающихся в данных, на рынке не хватает.
Увы, дефицит специалистов — не единственная проблема. Есть другие препятствия для использования данных в бизнесе:
- Колоссальные ограничения с точки зрения информационной и юридической безопасности.
- Слабая нормативно-правовая база на территории РФ/СНГ.
- Применимые в России методы и подходы не подойдут для Европы и США из-за того, что у них свои регламенты и очень жесткие.
Если вышеперечисленные проблемы удастся миновать, и компания начинает работу с данными, появляются новые сложности на этапе внедрения данных в продукты:
- Рынок не знает, что хочет.
- Рынок не знает, что можно.
- В некоторых областях слишком высокая конкуренция.
- Разработка продуктов иногда нерентабельна.
- Компания не хочет или не может обогащать данные.
Все новые технологии, связанные с обработкой входящей информации вроде распознавания речи или чат-ботов, еще только развиваются и дорого стоят. Компания, которая хочет их внедрить, должна запастись временем и большим бюджетом.
Разработка новшества и его внедрение могут обойтись дороже старых бизнес-процессов. Например, решили уволить всех продавцов, разместить по всему периметру магазина камеры и установить кассы самообслуживания. При таком сценарии покупка, установка и обслуживание нового оборудования будут дороже оплаты труда реальных продавцов.
По статистике, 87% data-science-проектов остаются на пилотной стадии и никем не используются. Для реализации технологий в любом случае придется много экспериментировать и тратиться.
Как получить хорошее AI-решение
Получить AI-решение в некоторых случаях очень сложно, а в некоторых — невозможно вообще.
Пример 1. Водитель грузовика, работающий в компании, часто нарушает правила: курит в кабине, подвозит попутчиков. Его снимают камеры, но просматривать камеры некому — нет времени. Тогда разработали AI-решение с камерами, автоматически фиксирующими нарушения. Но коробка с этими камерами просто не влезла в грузовик .
Пример 2. В станок на заводе внедрили камеру, которая фотографирует готовые детали и при обнаружении брака уничтожает их. Со временем в партиях стали появляться бракованные детали, потому что светодиод в камере износился и перестал фиксировать дефекты.
В процессе AI-разработки и внедрения можно выделить 3 основных проблемы:
- AI-решения не универсальны.
- Требуются специализированные AI-решения.
- Для поддержки AI-решения необходимо переобучение или повышение квалификации специалистов.
Специалисты, которые принимают участие в создании AI-решения: Data Engineer, ML Engineer, Data Analyst
Можно выделить 3 работающих способа, чтобы получить хорошее AI-решение:
- Взять готовый AI-продукт.
- Создать свою AI-команду.
- Заказать AI-разработку.
Взять готовый AI-продукт
Это уже существующий или разрабатывающийся продукт, который, вероятно, будут использовать несколько компаний.
- не надо долго ждать;
- от компании требуется только заключить договор и платить лицензионную плату.
- нет гарантии развития;
- лицензионная плата хоть и меньше стоимости разработки решения с нуля, но все-таки есть;
- возможно, продукт еще не разработан и все равно придется подождать;
- возможно, продукт не будет решать задачи компании.
Создать свою AI-команду
Компания нанимает специалистов, которые разрабатывают AI-решение под особенности ее бизнеса.
- разработка точно решает задачи бизнеса;
- нет проблем с поддержкой функционирования AI-решения;
- продукт (без обслуживания) имеет доступную стоимость.
- неравномерная нагрузка: для создания продукта нужен целый штат специалистов, для поддержки — 1-2 человека;
- дефицит специалистов и их дороговизна.
Заказать AI-разработку
Компания обращается к специалистам, которые разрабатывают AI-продукт, но не числятся в штате.
- AI-решение заточено под бизнес;
- равномерная нагрузка.
- сложно выбрать компанию/специалиста;
- разработчики могут указать высокую стоимость поддержки AI-решения, потому что никто, кроме него, не может этого сделать;
- решение может работать некоторое время, а затем — перестать работать, потому что специалист не следит постоянно за вашей компанией и вашими изменениями.
При разработке AI-решения важно, чтобы в компании были люди, которые разбираются в AI. Для этого можно либо обучить основам руководителей, либо найти посредника между AI-разработчиком и менеджментом. Обученные специалисты внутри компании сильно пригодятся, когда AI-решение будет готово: его предстоит не только внедрять, но и развивать.
Источник: vc.ru
Машинное обучение и маркетинг
Машинное обучение (machine learning, ML) — это наука о вовлечении компьютеров в работу без предварительного программирования человеком. Система сама проводит анализ аудитории, составляет отчеты и корректирует данные о пользователе, даже если его предпочтения меняются каждую минуту. Веб-поисковики, возможность распознавания устной речи и рукописного текста, техника, изучающая геном человека — все это и есть машинное обучение.
Задачи, которые решает машинное обучение
Джеффри Нимерофф, ИТ-директор компании по маркетингу Zeta Global, выделил три направления автоматизации маркетинга, актуальные для ближайшего будущего:
- Автоматизированная визуализация данных становится богаче и удобнее для пользователя.
- Анализ поведения клиента. Теперь известно, какую форму контента предпочитает клиент: какими книгами он интересуется, какой стиль и жанр музыки слушает, на что подписан.
- Последовательное планирование шагов. Как только система выполнила один блок задач, из него сразу же формируется другой. Работа идёт беспрерывно.
Технология машинного обучения существует не одно десятилетие, но скачок популярности произошёл благодаря двум тенденциям:
- Увеличились объемы данных
- Машинное обучение стало доступным
Еще в каком-то 2016 году установка инфраструктуры и формирование команды специалистов стоили дорого, но все поменялось. IBM Watson, Microsoft Azure, Google и Amazon запустили облачные платформы машинного обучения. А стартапы Idibon, MetaMind, Dato и MonkeyLearn, на базе машинного обучения создали продукты, которые с успехом применяются в компаниях.
Внедрение машинного обучения
Старший научный сотрудник компании Google Грег Коррадо утверждает, что активное внедрение машинного обучения способно принести не меньше пользы, чем интернет. Благодаря машинному обучению в будущем нам не нужно будет разбираться в незначительных деталях процессов. Достаточно загрузить в систему данные, на основе которых она создаcт отчеты, требуемые для работы человека. Несмотря на то, что машинное обучение со временем может заменить сотрудников, вытеснив тем самым некоторые профессии, обратимся к положительной стороне вопроса.
Чем хорошо машинное обучение?
- Оно позволяет работать с большим объёмом информации. Технология не допускает ошибок и позволяет компаниям, которые уже накопили достаточное количество данных, приступить к их монетизации.
- Машинное обучение обладает широким спектром характерных возможностей: предоставление транзакционных и идентификационных данных, составление метрики приложений, хостов, виртуальных машин, серверов, составление данных на уровне пользователей, инфраструктурных и даже диагностических данных.
- Для бизнеса машинное обучение станет «технологией века» благодаря возможности решения сложных аналитических задач. Риски и детали, которые традиционные методы аналитики не выдают, теперь будут заранее известны. В будущем возможно будет просчитать, кто из потенциальных покупателей готов к покупке, кто хочет уйти, кому требуется дополнительная информация о товаре или услуге и т.д.
Сила машинного обучения
Основная сила машинного интеллекта в скорости и высокой эффективности обработки информации.
Представьте, сколько одностраничных сайтов вы сможете обработать за один день. Даже если это будет непостижимое количество, например, четыре сотни, всё равно машина за 20 минут исследует не меньше трехсот тысяч лендингов и создаст для вас отчёт о проделанной работе.
Как правило, в мире маркетинга ясна задача, но туманен оптимальный способ ее решения. Машинное обучение как раз находит технику, метод для решения задачи в зависимости от сложности. Многие маркетинговые компании используют передовые технологии машинного обучения, но простые или даже банальные техники тоже не стоят в стороне.
Вот примеры и тех, и других:
Прописанные диалоги для чат-ботов и автоматизация работы с клиентами
Боты и чат-боты представляют один из самых вездесущих методов искусственного интеллекта. Большинство ботов для маркетинга, которые вы видите, скопированы друг с друга и используют минимум слов, выражений и машинного обучения. Но есть и усложненные диалоговые системы, которые могут приспосабливаться к неординарным вопросам пользователя. На сегодняшний день лишь некоторые компании применяют чат-ботов для привлечения и проведения покупателей по всему жизненному циклу: от момента, когда пользователь впервые узнал о бренде до момента, когда совершил покупку или обратился в службу поддержки клиентов.
Недавнее исследование показывает, что чат-боты обеспечат 85% взаимодействия с клиентами в период до 2020 года.
Кластеризация для сегментации пользователей
Кластеризация (или кластерный анализ) — это разбиение множества объектов на группы (кластеры). Внутри каждого кластера должны оказаться похожие по каким-то признакам объекты, но объекты разных групп должны быть максимально отличны.
Не все пользователи похожи друг на друга. Машинное обучение поможет маркетологам сгруппировать аудиторию в динамичные группы для дальнейшей работы. Платформа Affinio`s, например, анализирует миллиарды пользовательских переменных и идентифицирует пользовательские интересы, основанные на активности в социальных медиа. Из собранных данных генерируется отчет о людях со схожими интересами. Так вы можете выяснить, кто из ваших покупателей гурман, кто часами смотрит сериалы, а у кого одинаковые планы на отпуск.
Преобразование текста в речь (Text-to-speech или просто TTS) и преобразование речи в текст (Speech-to-text или STT) для усовершенствования голосового поиска
Искусственный интеллект с поддержкой голосовых диалогов, платформы с частичной или полной поддержкой голосового управления представляют новые возможности взаимодействия с пользователем в программном обеспечении и аппаратном интерфейсе.
Amazon Echo и Google Assistant используют цифровую помощь на основе голоса. Она позволяет пользователям делать покупки и искать необходимое без прикосновения к клавиатуре.
Классификация текста для понимания пользователя и персонализации
Используя обработку естественного языка, машинное обучение может исследовать голосовой или текстовый контент, затем классифицировать его на основе тона, настроения или темы, чтобы понять потребителя и отслеживать данные о нём. IBM Watson`s Tone Analyzer, например, может проанализировать фидбек покупателей и определить тон потребительских отзывов о товаре.
Компьютерное зрение для распознавания брендов
Компьютерное (или машинное) зрение — это быстро развивающаяся область искусственного интеллекта, которая имеет широкий спектр применения. Маркетологи могут использовать компьютерное зрение для распознавания и извлечения информации о пользователе из немаркированных изображений и видеозаписей.
Компания GumGum с помощью своего сервиса позволяет маркетологам разных брендов понять, например, где, когда и у кого в социальных сетях появился логотип вашего бренда. Причём, эти люди — рядовые пользователи или покупатели, не имеющие никакого отношения к бренду.
Например, утром девушка купила стаканчик любимого кофе с собой. Выходя из кофейни девушка заметила, что её имя на стаканчике написано с ошибкой. Тогда, ради шутки, девушка сфотографировала стаканчик и выложила его в своём аккаунте в Instagram. После того, как картинка появилась в интернете, компьютерное зрение считало логотип бренда и направило данные о его публикации (количество просмотров публикации, комментарии, геолокацию и т.д.) прямиком маркетологам бренда.
Технически подкованные маркетологи могут использовать такой API, как Clarifai, для модерации пользовательского контента. Например, настроить результаты выдачи по запросу или вывесить рекомендации, основанные на визуальном сходстве картинки или видеозаписи, которые опубликовал пользователь.
Автоматизированное графическое представление данных для составления отчетов
Изображение лучше передает информацию, чем текст. Искусственный интеллект справляется с задачей визуализации данных быстрее и эффективнее, по сравнению с обычным специалистом. Аналитики обычно используют такие инструменты как Exсel или Tableau для создания визуализаций, но автоматизированные аналитические решения, как у Qlik, централизуют источники данных и генерируют отчеты и полезные таблицы индикаторов, нужные для работы маркетологов.
Многие платформы сейчас используют аналитику данных и продвинутые алгоритмы машинного обучения, чтобы доходчиво разъяснять тренды рынка, поведение пользователей и другого рода информацию, которая скрыта от взгляда обычного пользователя.
Новые технологии машинного обучения
Машинное обучение уже зарекомендовало себя в области здравоохранения, а также при выявлении мошенничества. Новые технологии машинного обучения предназначены для того, чтобы создавать волны в сферах маркетинга. Вот некоторые компании, которые способны на такое своими нововведениями:
IBM Watson
Выше мы уже сказали про его способность анализировать тон контента. Но IBM Watson также объединяет Al с превосходными аналитическим программным обеспечением. IBM Watson — это полностью оптимизированная система ответов на вопросы, которые обрабатываются со скоростью 80 терафлопс (1 терафлопс = 1 триллион операций с плавающей точкой в секунду).
Spark
Это платформа, которая может рекомендовать лучших кандидатов на вакантные роли, используя сложный алгоритм. Добавляя множество требований, характеристик и предпочтений, встроенное приложение Spark обращается к другому программному обеспечению и возвращает лучших кандидатов в компании в порядке их пригодности.
Kafka
Позволяет брендам и предприятиям создавать приложения для потоковой передачи данных в реальном времени или интерпретации информации из различных источников. В настоящее время он используется LinkedIn для обработки более 1,4 триллионов сообщений в день, повышения эффективности и помощи в принятии критических решений на основе ценных данных.
Машинное обучение — хорошая умная штука
Она использует статистику, математику, лингвистику.
Применять машинное обучение к бизнесу без понимания того, что действительно работает, а что нет, глупо. Действия вслепую могут причинить больше вреда (потраченное время, деньги), нежели пользы. Машинное обучение — не магическое заклинание или волшебная палочка, которая по хотению и без вашего разумения автоматически решит все трудности.
Однако запустить машинное обучение важно уже сейчас. Эксперты прогнозируют, что технологии машинного обучения и решения для сбора, хранения и «умного» анализа данных могут дать бизнесу заметный толчок и конкурентные преимущества в борьбе за пользователя. Единственный минус технологии машинного обучения — это её игнорирование.
Источник: altcraft.com
