В каком бизнесе могут быть реализованы рекомендательные системы

Рекомендательные системы – что это и как работает?

Рекомендательной системой принято называть набор алгоритмов, сервисов или других программных продуктов, позволяющих определить предпочтения конкретного человека. Для этого используются различные данные – от личной информации о пользователе до сделанных им запросов в поисковых системах. Результатом становится выведение на экран именно тех предложений, которые окажутся интересными ему.

В чем состоит основная задача любой рекомендательной системы для бизнеса достаточно очевидно. Она заключается в увеличении объемов продаж – товаров, услуг, контента и т.д. Эффективность современных рекомендательных систем не вызывает сомнений. Те, кто умеет их создавать и использовать, возглавляют рейтинги крупнейших мировых корпораций и самых богатых людей планеты.

Сказанное подтверждается и статистическими данными. Так, по некоторым оценкам, больше трети выручки онлайн-магазина Amazon приходится на рекомендованные товары.

Для онлайн-кинотеатра Netflix этот показатель еще выше и достигает 75%.

Алгоритмы

Принцип работы любой рекомендательной системы предельно прост. Она базируется на алгоритмах искусственного интеллекта, главной целью которых становится сбор и анализ информации о потенциальном клиенте. Источником данных становится все:

• поисковые запросы;
• время просмотра ролика на YouTube;
• личные сведения из профиля в социальной сети;
• сделанные и несделанные покупки;
• многое другое.

До недавнего времени возможности рекомендательных систем были ограничены отсутствием компьютеров, способных обработать настолько серьезные объемы информации. Сегодня такой проблемы нет, что привело к повсеместному распространению подобных алгоритмов.

Виды рекомендательных систем

Выделяют четыре основных разновидности рассматриваемых систем выдачи рекомендаций. Каждая представлена собственным набором алгоритмов и особенностями принятия решений.

Фильтрация на основании контента

Самый простой и очевидный способ определения предпочтений и интересов пользователя. Если человек посмотрел комедию, будет вполне логичным предложить ему еще несколько фильмов аналогичного жанра. Прослушивание трека рэп-исполнителя наверняка означает, что программа порекомендует как еще несколько песен от него, так и произведения других авторов этого направления музыки.

Плюс такого подхода к фильтрации очевиден – он требует минимума ресурсов и предельно прост. Но при этом имеет и явный минус. Например, если клиент совершил дорогую покупку – автомобиль, не имеет смысла предлагать ему еще 10 машин. Вероятность еще одного такого приобретения крайне мала. В этом случае помогает второй вид рекомендательных систем.

Коллаборативная фильтрация

Коллаборацией называют совместную деятельность нескольких сторон. Отсюда следует, что коллаборативная фильтрация предусматривает выдачу рекомендаций в категориях, близких к приобретенному товару или услуге. Например, покупателю автомобиля из предыдущего абзаца имеет смысл предложить чехлы на сиденья или новую резину. Тем более – зимнюю, если дело идет к холодному времени года. Но и такой подход не лишен недостатков.

Поэтому целесообразно прибегнуть к третьему.

Фильтрация на основе знаний

Самый сложный способ выдачи рекомендаций. Он предусматривает максимальную детализацию запросов потенциального покупателя с целью сбора информации о его предпочтениях. Например, применительно к дому речь идет об этажности, площади, основном материале строительства и других подобных параметров.

Только после получения значений по каждому система выдает рекомендации, которые наверняка будут представлять интерес для покупателя. Высокая эффективность этого способа компенсируется сложностью разрабатываемых алгоритмов и необходимостью удерживать внимание пользователя в течение времени, которое требуется для указания запрашиваемых параметров.

Гибридные системы

Каждая из описанных выше рекомендательных систем имеет как ярко выраженные плюсы, так и не менее существенные минусы. Именно поэтому наибольшее распространение получили гибридные наборы алгоритмов, представляющие собой комбинацию из разных способов выдачи рекомендаций.

При таком подходе к решению задачи особенно актуальным становится баланс между ними.

Логичным следствием этого выступает секретность алгоритмов, используемых рекомендательными системами самых крупных и известных корпораций.

Примеры рекомендательных систем и принципов их работы

Для большей наглядности целесообразно рассмотреть несколько примеров из реальной жизни. При этом необходимо учитывать сказанное выше насчет засекречивания некоторых данных, характерного для большей части самых успешных рекомендательных систем.

Netflix

Одна из самых крупных IT-корпораций мира использует в работе специально созданную рекомендательную систему под названием Cinematch. Значительная часть ее алгоритмов скрыта, но некоторые принципы функционирования выделить все-таки можно. Главные из них заключается в следующем:

• указание нескольких любимых направлений контента – фильмов и сериалов – уже в процессе регистрации;
• активное предложение ставить по отношению к любому продукту лайки и дизлайки;
• сбор максимально возможной информации о каждом конкретном пользователе – от перечня и длительности просмотренного контента до предпочтительного для посещения кинотеатра времени суток;
• четкое описание любого нового продукта, позволяющее потенциальному клиенту получить о нем исчерпывающее представление;
• объединение посетителей кинотеатра в группы, из которых формируются еще более многочисленные сегменты – для любого из них разрабатываются общие рекомендации.

Результатом становится лента рекомендаций от Netflix, которая доступна любому пользователю. Она постоянно корректируется и видоизменяется с учетом вновь поступившей информации и клиенте и результатов ее многократного анализа.

Facebook

Корпорация частично раскрыла алгоритмы используемой рекомендательной системы в первой половине 2019 года. На ее основе была создана так называемая DLRM или рекомендательная модель глубокого обучения. Ее главными особенностями выступают такие:

• активное задействование разных алгоритмов фильтрации, результатом чего становится получение на выходе гибридной модели рекомендательной системы;
• ориентация на сбор информации о пользователе из всех доступных источников;
• применение незаурядных возможностей и функционала современных нейронных сетей, что позволяют сделать вычислительные мощности, которые имеются в распоряжении Facebook.

Функционирование социальной сети выглядит несколько более сложным и разносторонним, чем онлайн-кинотеатра.

Но обе корпорации – Facebook и Netflix – одинаково продуктивно и целенаправленно работают над постоянным совершенствованием своих рекомендательных систем. Что подтверждают успешные результаты их деятельности, в том числе – в части коммерческих показателей.

Плюсы и минусы рекомендательных систем

Первое и самое главное преимущество рекомендательных систем очевидно и заключается в увеличении трафика поисковых систем, онлайн-магазинов и различных интернет-сервисов. Результатом становится увеличение количества заказов или числа клиентов, а как следствие – объемов продаж и прибыли.

Но обычным пользователям рекомендательные системы также полезны. Дело в том, что при грамотном применении они делают интерфейс и само использование любых онлайн-продуктов намного более удобным и комфортным для посетителей. Как итог – усреднение аудитории и потеря индивидуальности каждым конкретным пользователем.

Оборотной стороной очевидных преимуществ становятся и неизбежные недостатки. Основной из них заключается в привыкании к подсказкам искусственного интеллекта и нежелании людей запускать собственный. Пользователи перестают изучать что-то новое, тем более – если предлагаемое системой их вполне устраивает.

Еще более актуальной является проблема навязывания мнения аудитории того или иного интернет-ресурса. Особенно острой она становится применительно к социальным сетям. Умная лента новостей формирует мировоззрение пользователей, причем далеко не только в вопросах развлечений или игр.

Намного более серьезные последствия может иметь такое влияние на политические взгляды аудитории.

Мифы о рекомендательных системах

В настоящее время особенно актуально рекомендательные системы используются крупными корпорациями. В этом нет ничего удивительного, так как разработка любого подобного программного продукта с элементами искусственного интеллекта требует серьезного финансирования. Осилить его способна далеко не каждая компания.

Помимо необходимости существенных капитальных вложений, активному внедрению рекомендательных систем мешают сформировавшиеся вокруг мифы. Поэтому имеет смысл рассмотреть основные из них более внимательно, а при возможности – развенчать, если они не соответствуют действительности.

Требуется обработка огромных массивов данных

Далеко не всегда задача является такой уж неподъемной. Особенно в том случае, если в качестве источника информации можно использовать уже имеющиеся и готовые к анализу базы данных.

Например, сведения, автоматические собираемые онлайн-кассой, присутствующей сегодня практически в любой торговой точке.

Их вполне достаточно для работы рекомендательной системы.

Искусственный интеллект еще не может дать нужный результат

Против этого мифа можно привести сразу два очень веских довода. Первый – это наличие давно и успешно применяемых методик оценки эффективности использования рекомендательных систем. Причем на рынке существуют как платные, так и бесплатные инструменты для этого.

Второй касается быстрого совершенствования алгоритмов самих рекомендательных систем. Что позволяет надеяться на еще больший КПД от их внедрения в самое ближайшее время.

Вложения в рекомендательные системы так велики, что не окупаются

Данное утверждение можно признать справедливым, но лишь отчасти. Действительно, особенно высокую эффективность системы выдачи рекомендаций показывают при использовании для крупных аудиторий.

Но и небольшому интернет-магазину они вполне способны принести заметную пользу. Тем более – в этом случае для разработки и внедрение системы требуется существенно меньше финансовых ресурсов. Практика показывает: грамотное использование даже самых простых алгоритмов выдачи рекомендаций пользователям позволяет резко увеличить объемы продаж.

В результате вполне реально полностью окупить необходимые на их разработку инвестиции в течение квартала или полугодия. После этого функционирование системы начинает приносить чистую прибыль.

Что почитать или посмотреть по теме?

1. Видео лекция К.В. Воронцова «Машинное обучение. Рекомендательные системы.
2. Канал на YouTube «Машинное обучение». Занятие 17. Рекомендательная система.
3. Видео ролик на YouTube «Рекомендательные системы: архитектура и применение».
4. Видео ролик на YouTube «Яндекс изнутри: рекомендательные системы Музыки и Дзена».
5. Г. Линден, Б. Смит и Дж. Йорк «Amazon.com рекомендации: совместная фильтрация по элементам» (2003).
6. Кутянин А.Р. «Рекомендательные системы: обзор основных постановок и результатов».

FAQ

Что такое рекомендательные системы?

Под рекомендательной системой понимается набор алгоритмов, программ или сервисов, предназначенный для выдачи в качестве рекомендаций интересных пользователям продуктов, товаров или услуг.

Каков принцип их действия?

Общий механизм работы рекомендательных систем достаточно прост: сначала собираются данные о пользователе, затем их анализирует специально разработанный алгоритм, после чего на основании полученных результатов клиенту выдается набор рекомендаций.

Для чего они предназначены?

Основная функция рекомендательных систем заключается в привлечении и удержании как можно более многочисленной аудитории и, как следствии, увеличении объемов продаж.

Какие виды рекомендательных систем существуют?

Обычно выделят четыре вида подобных программных продуктов, которые различаются по принципу фильтрации – на основе контента, при схеме коллаборации, на основе знаний и комбинированную, предусматривающую использование различных комбинаций трех первых.

В чем преимущества и недостатки рекомендательных систем?

Главный плюс для бизнеса – рост продаж товаров и услуг, что ведет к увеличению прибыли. Польза для посетителей выражается в более комфортных условиях использования сайта. Недостатки связаны с унификацией пользователей, потерей ими индивидуальности, а также возможности формировать и навязывать аудитории определенное мировоззрение.

Подведем итоги

1. Рекомендательная система – комплекс алгоритмов, который позволяет отобрать и рекомендовать товары и услуги, наиболее интересные пользователю.
2. Основная схема действия рекомендательных систем заключается в следующем: собираются и анализируются данные о клиенте, после чего на базе полученных результатов определяются продукты, способные его заинтересовать.
3. Особенно высокую эффективность рекомендательные системы показали при внедрении в крупные корпорации – ведущие IT-компании мира и самые массовые социальные сети.
4. Но при правильной разработке и внедрении алгоритм выдачи рекомендаций способен принести пользу и небольшому онлайн-магазину, причем вложения достаточно быстро окупаются.

Рекомендательные системы: как помочь пользователю найти то, что ему нужно?

Рекомендательные системы стали настоящим бумом и сегодня представить какую-нибудь условную Lamoda без блока «Возможно, вас заинтересуют другие товары» сложно. Мы подготовили для вас подробную статью о том, что собой представляют рекомендательные системы и какую пользу они могут принести бизнесу.

Что такое рекомендательные системы?

Рекомендательная система — комплекс алгоритмов, программ и сервисов, задача которого предсказать, что может заинтересовать того или иного пользователя. В основе работы лежит информация о профиле человека и иные данные.

Яркий пример рекомендательной системы — Tik-Tok, о котором в последнее время говорят очень много. Первые несколько дней пользователи видят в ленте все подряд, но потом приложение показывает пользователю только интересующее его видео на основе предыдущих оценок.

Даже музыкальные приложения не обходятся без рекомендательных систем. Одной из лучших обладает Spotify, которое недавно «пришло» в Россию. Через несколько дней после установки программа подбирает для пользователя треки, которые с высокой долей вероятности заинтересуют его.

Типы рекомендательных систем

Существует 4 чипа рекомендательных систем:

• Коллаборативная фильтрация (collaborative filtering).

• Основанные на контенте (content-based).

• Основанные на знаниях (knowledge-based).

• Гибридные (hybrid).

Давайте подробнее рассмотрим каждый из них.

Коллаборативная фильтрация (collaborative filtering)

Рекомендации основаны на истории оценок как самого пользователя, так и других. Во втором случае системы рассматривают потребителей, оценки или интересы которых похожи на ваши.

Простой пример: Гена и Витя любят рыбачить и заказывать пиццу по вечерам. А еще они оба любят BMW и ездят на машинах этой марки. Еще есть Олег, который тоже не прочь посидеть с удочкой на выходных и заказать пиццу после тяжелого рабочего дня. Но о покупке BMW он никогда не задумывался. Так как его интересы (оценки) совпадают с Геной и Витей, ему можно порекомендовать BMW.

По такому принципу работает много сервисов, например, Имхонет или last.fm. Главное преимущество этого типа — высокая теоретическая точность. Но есть и минус: показывать хорошие рекомендации новым пользователям не получится, ведь о них нет никакой информации. Из-за этого будет большой процент отказов.

Основанные на контенте (content-based)

Этот тип лежит в основе многих рекомендательных систем. В отличие от коллаборативной фильтрации, этап знакомства с пользователем опускается. Товары и услуги рекомендуются на основе знаний о них: жанр, производитель, конкретные функции и т.п. В общем, применяют любые данные, которые можно собрать.

По такому принципу работают системы интернет-магазинов, онлайн-кинотеатров и других сервисов. Например, IVI выстраивает рекомендации по жанрам, странам-производителям фильмов, актерам и т.п.

Создатели платформ используют этот тип систем, чтобы не потерять новых пользователей, данных о которых еще нет. Отсюда же вытекают два недостатка: первое время системы действуют неточно и требуется больше времени на реализацию.

Основанные на знаниях (knowledge-based)

Этот тип работает на основе знаний о какой-то предметной области: о пользователях, товарах и других, которые могут помочь в ранжировании. Как и в случае с «content-based», оценки других пользователей системы не учитывают. Есть несколько разновидностей: case-based, demographic-based, utility-based, critique-based, whatever-you-want-based и т.д.

На самом деле количество подтипов ограничено фантазией создателей. При реализации нового проекта в зависимости от сферы деятельности в рекомендательную систему можно заложить любую предметную область и ранжировать по ней.

Например, магазин техники Apple «reStore» подбирает потенциальным покупателям наборы, в зависимости от просматриваемого товара:

Неплохо работает аналогичная система в интернет-магазине М.Видео:

При выборе новой игровой консоли PS4 посетителю сайта предлагают купить дополнительные геймпады, шлем виртуальной реальности, популярные игры и другие сопутствующие товары. Как итог, человек совершает больше покупок и увеличивает прибыль компании.

Очевидное преимущество системы — высокая точность. Рекомендательная система М.Видео показывает товары, которые могут реально заинтересовать посетителя. Было бы странно, если при выборе PlayStation 4 магазин советовал докупить человеку кухонный гарнитур.

Но есть и минус — для разработки этой системы требуется много времени и ресурсов. Но результат оправдывает средства.

Гибридные (hybrid)

Наверно, нет такой сферы деятельности, в которой не нашлось бы энтузиастов собрать «все в одно». Рекомендательные системы не стали исключением. У всех описанных ранее типов есть определенные недостатки. Комбинирование нескольких алгоритмов в рамках одной платформы позволяет если не устранить их полностью, то хотя бы минимизировать.

Крупные сервисы и интернет-магазины используют гибридные варианты. Чуть-чуть там, немного здесь и получается уникальная система. Универсальной инструкции и рекомендаций по реализации такого инструмента нет. Все ограничивается возможностями и фантазией разработчиков. Например, у Netflix в рекомендательной системе объединено 27 (!) алгоритмов.

Есть несколько распространенных типов комбинирования:

• реализация по отдельности коллаборативных и контентных алгоритмов и объединение их предположений;

• включение некоторых контентных правил в коллаборативную методику;

• включение некоторых коллаборативных правил в контентную методику;

• построение общей модели, включающей в себя правила обеих методик.

Обычно эти варианты берут в качестве основы и дополняют по собственному желанию и по критериям сферы деятельности. Как и в случае с knowledge-based, основной недостаток гибридных систем — сложность разработки.

Как работают рекомендательные системы

С назначением рекомендательных систем разобрались — они предлагают клиентам те товары и/или услуги, которые заинтересуют их с большей вероятностью. С разновидностями тоже все понятно, поэтому теперь поговорим об основных принципах деятельности и сферах применения.

Рекомендательные системы работают на двух уровнях:

• Глобальные оценки; особенности и предпочтения, не меняющиеся месяцами или годами; интересные страницы; зависимость от характерных пользовательских черт: пол, место проживания и т.п.

• Кратковременные тренды и быстрые изменения интересов во времени.

Данные собирают «явным» и/или «неявным» способами. В первом случае посетителю предлагают заполнять анкеты, проходить опросы и т.п. для определения его предпочтений. Метод эффективный, только пользователи не всегда соглашаются на заполнение анкет и прохождение опросов. Поэтому придумывают, как заинтересовать их этим (обычно предлагают какую-то выгоду в обмен).

Второй метод предусматривает фиксирование поведения потребителя на сайте или в приложении: какие страницы/разделы посмотрел, что добавлял в корзину, какие и где оставлял комментарии и т.п. При правильной организации сбора данных и дальнейшей аналитике метод дает хорошие результаты. Но и здесь есть ряд сложностей. Во-первых, просмотр отдельных страниц или карточек товара не дает сведений, понравилось ли в конечном итоге человеку предложение. Во-вторых, даже если совершена покупка, сложно предположить, что конкретно подтолкнуло человека к ее совершению.

Как и в случае с типами рекомендательных систем, по отдельности способы используют редко. Для получения наилучших результатов их комбинируют.

Грамотно настроенный сбор информации позволяет сделать рекомендации релевантными. С их помощью сокращается время поиска нужных товаров или услуг, а также повышается вероятность совершения сопутствующих целевых действий. Например, потребитель хотел купить только смартфон, но в результате дополнительно приобрел чехол для него. Когда потребитель тратит минимум времени для поиска нужных вещей и получает желанное, его лояльность к платформе повышается.

Еще один важный момент в работе рекомендательных систем, который стоит учитывать — соблюдение конфиденциальности. Они могут спрогнозировать такие результаты и выявить такие закономерности, о которых пользователь даже не задумывался или не хотел, чтобы это стало кому-то известно.

Что касается сфер применения рекомендательных систем, то здесь, по сути, ограничений никаких нет. Ранее мы уже не раз говорили, что все зависит от фантазии разработчиков. Их можно использовать в приложениях, интернет-магазинах, онлайн-кинотеатрах и других сервисах, которые предлагают какой-то контент, товары или услуги.

Любая компания, даже небольшой интернет-магазин диванов из региона, должна использовать рекомендательные системы. Они помогут в удержании текущих потребителей, привлечении новых и повышении прибыли.

Мифы о рекомендательных системах

К использованию рекомендательных систем пока что в основном прибегают крупные компании с большими запасами ресурсов. В среде малого и среднего бизнеса они медленно набирают популярность из-за ряда заблуждений.

Сложно собрать и подготовить данные для ИИ

Для работы рекомендательной системы собирают DataSet и информацию о продажах за последние несколько месяцев или лет. Если в деятельность сервиса или интернет-магазина внедрена онлайн-касса, то вопрос о накоплении нужных данных решен. Остается привести их в должный вид и начать применять на практике.

ИИ не способен давать качественный результат

Предприниматели и мелкие организации зачастую не верят в точность программных решений. Распространенная причина отказа от использования рекомендательных систем — незнание способов измерения и оценки пользы. В реальности все это можно измерить, причем делается это достаточно просто. А опыт крупных компаний доказывает, что польза от внедрения рекомендательных систем есть.

Нужно много денег на реализацию

Да, ресурсы на создание и внедрение рекомендательной системы нужны, но не в таких больших количествах, как может показаться на первый взгляд.

Во-первых, все зависит от размеров бизнеса. Если сервис, интернет-магазин или другие предприятия небольшие, то и денег на реализацию потребуется немного. Во-вторых, необязательно создавать собственную систему с нуля. Достаточно воспользоваться готовым фреймворком (TensofFlow, Apple Core ML) или внешним решением (Google ML Kit). Это позволит существенно сократить расходы.

На практике уже не раз было доказано, что рекомендательные системы увеличивают продажи и повышают количество вернувшихся клиентов. Инвестиции на реализацию и внедрение могут вернуться через 3-6 месяцев.

В этой статье мы постарались дать необходимую информацию о рекомендательных системах, которые должен знать начинающий продакт или предприниматель. Конечно, реализация тесно связана с программированием, математическими формулами и другими техническими дебрями, о которых можно рассказывать очень долго. Можно не разбираться во всех тонкостях, потому что обычно создание и внедрение рекомендательной системы поручают опытном программисту.

Ваша задача — понять пользу инструмента и запланировать его внедрение в своей проект (не важно, работает он уже или вы только собираетесь заняться реализацией). Он поможет повысить объем продаж и, как следствие, прибыль, поэтому не откладывайте рекомендательные системы в «долгий» ящик.

microsoft / microsoft.com

Пишет про digital и машинное обучение для корпоративных блогов. Топ-автор в категории «Искусственный интеллект» на Medium. Kaggle-эксперт.

Покупая что-то в онлайн-магазине, вы наверняка замечаете блок «Рекомендованное». И чем больше времени вы рассматриваете товары, тем более качественными становятся рекомендации.

Пока вы изучаете ассортимент, специальный алгоритм собирает досье: какие цвета и модели вам нравятся, что покупаете, а что удаляете из корзины. Программа находит похожие товары и в первую очередь показывает вам именно их — как если бы в ассортименте магазина были только ваши любимые вещи.

Сложно устоять перед соблазном и не потратить все деньги. На это и рассчитывают заказчики рекомендательных систем — они пытаются увеличить конверсию в покупку и средний чек своих магазинов.

Представьте, что вам нужно порекомендовать кому-то фильм. На чём вы будете основываться? Другу, с которым у вас много общего, можно посоветовать то, что понравилось вам. Но восьмилетней сестре вы вряд ли предложите «Декстера» — и вкусы, и потребности явно будут отличаться.

Логика рекомендательных систем тоже может быть разной:

• Фильтрация, основанная на контенте (content-based filtering).
• Коллаборативная фильтрация (collaborative filtering).
• Фильтрация, основанная на знаниях (knowledge-based filtering).
• Гибридные рекомендательные системы (hybrid filtering).

Рассмотрим каждый из типов подробнее.

Посмотрели ужастик про зомби? Рекомендательная система, основанная на контенте, посоветует ещё 25. Постоянно слушаете Queen? Вот вам плейлист рок-музыки семидесятых. Кажется, что это безотказный метод. Но нет.

Допустим, вы купили диван. Это крупная и дорогая покупка, большинство людей не приходит за новым диваном каждый месяц. Если рекомендательная система посоветует вам купить ещё 15 диванов, то магазин явно будет в убытке. А вот рекламные системы вроде «Яндекс.Директа» о факте покупки не знают, поэтому ещё долго будут кидаться в вас всевозможными диванами — то есть фильтровать рекламу, основываясь на контенте.

Что же делать магазину мебели в такой ситуации? Рецепт простой — можно отследить историю корзин всех покупателей диванов. И окажется, что спустя пару месяцев многие покупают средства и губки для чистки мебели, какие-то аксессуары, чехлы, накидки. Порекомендовать их клиенту — значит сделать его жизнь проще, а заодно заработать. Но и этот подход не универсален.

Если на сайте продаются дома или машины, полагаться на отзывы других пользователей система не может: покупки штучные и редкие, а значит, информации слишком мало — нет статистической значимости. Но мы же хотим, чтобы пользователь купил дом своей мечты у нас, а не у конкурентов?

В этом случае можно добавить фильтры: дом в городе или в деревне, количество этажей и квадратных метров, материал стен. После этого рекомендательная система подбирает наиболее подходящие дома из каталога.

Такой тип рекомендаций точен: пользователю показывают именно то, что он хочет видеть. Но алгоритмы фильтрации, основанной на знаниях, сложнее продумать, потому что параметров поиска может быть очень много.

Гибридные рекомендательные системы сочетают разные подходы. Так можно избавиться от большинства недостатков «несмешанных» систем. Например, в онлайн-магазинах одежды в рекомендациях показываются вещи, похожие на те, что вы уже смотрели, а также те, которые покупали пользователи с похожими вкусами, — то есть одновременно включаются механизмы фильтрации, основанной на контенте, и коллаборативной фильтрации.

Считается, что рекомендательная система Cinematch, созданная Netflix, — одна из наиболее продуманных в мире. Netflix не раскрывает всех деталей работы своей модели машинного обучения, но основные принципы известны.

При регистрации вас сразу просят указать несколько любимых фильмов и сериалов. На их основе генерируется лента, которая будет подстраиваться под ваши вкусы. С помощью лайков и дизлайков вы можете корректировать её и добавлять понравившиеся фильмы в плейлист.

Netflix хочет знать о вас всё: что вы смотрите, что смотрели до и после конкретной программы, в какое время суток используете сервис и сколько времени в нём проводите. Алгоритм учитывает ваши возраст, пол и геопозицию.

Каждое видео на Netflix сначала просматривают специалисты. Они вручную маркируют и размечают контент, то есть описывают, что зритель увидит на экране. Пользователи иногда ищут очень конкретные вещи — например, «британская комедия про зомби» — и Netflix может выдать релевантный контент даже на такие сложные запросы.

Видеосервис использует данные о фильмах и пользователях, чтобы с помощью алгоритмов машинного обучения оценить, какая информация важнее всего. Например, что больше влияет на ваши вкусы сегодня: то, что вы смотрели год или неделю назад? Обычно чем свежее данные, тем лучше. Хотя если сейчас конец декабря, то новогодние и рождественские комедии окажутся более уместными — но только для стран с христианскими традициями.

Cinematch рассматривает как явные, так и неявные источники информации. Если вы добавляете сериал в избранное, значит, он вас заинтересовал. Но если вы посмотрели три сезона сериала за два дня и при этом не добавили его в избранное, это тоже хороший знак.

Алгоритм машинного обучения анализирует не только каждого отдельного пользователя, но и группы пользователей со сходными вкусами — сегменты. У Netflix таких сегментов по интересам больше 2 тысяч. В итоге на рекомендации влияет даже то, что смотрели другие люди из вашего сегмента.

В Интернете множество сайтов, на которых фильмы можно смотреть бесплатно, но Netflix в 2020 году набрал почти 200 млн платных подписчиков. А значит, их рекомендательная система чего-то стоит.

Рекомендательные системы приносят очевидную выгоду владельцам онлайн-магазинов, различных сервисов и приложений. Они показывают пользователю именно то, что ему интересно, и генерируют прибыль.

Но есть и минусы. Человек привыкает к подсказкам рекомендательных сетей при выборе книг, фильмов и музыки. У него пропадает стимул изучать новые непривычные жанры — ведь всё, что предлагает сеть, ему в принципе нравится.

Особенно остро стоит проблема потребления новостей и выдачи умной ленты в социальных сетях. Потому что здесь речь идёт уже не столько о развлечениях, сколько о формировании мировоззрения.

Например, у расиста или у конспиролога, верящего в рептилоидов, в ленте будут преобладать поддерживающие его точку зрения материалы — а значит, его шансы познакомиться с качественными альтернативными источниками стремятся к нулю и он будет лишь ещё больше укрепляться в своём мнении. И это может привести к печальным последствиям или неадекватным поступкам.

Социальные сети и алгоритмы выдачи борются с таким явлением. Так что бояться полной потери индивидуальности не стоит. Все мы в какой-то степени полагаемся на гаджеты и современные технологии, а рекомендации помогают ориентироваться в потоке информации и находить интересные материалы быстрее.

Научитесь: Профессия Data Scientist
Узнать больше

Об эксперте: Станислав Журавлев, Chief Product Officer Медиа/KION

Что такое рекомендательный алгоритм

Система рекомендаций для онлайн-кинотеатров — это способ найти максимально вовлеченного и заинтересованного зрителя, а для пользователя — один из вариантов индивидуализации. Если проводить исторические параллели, систему рекомендаций можно сравнить с разделением труда: тот, кто лучше лепил горшки, стал гончаром, а тот, кто гнул подковы — кузнецом. Рекомендации в контенте — то же самое, но наоборот: они позволяют закреплять предпочтения и даже формировать вкусы.

Современные системы рекомендаций представляют собой технологический процесс, который работает на алгоритмах, определяющих предпочтения зрителя. Алгоритм анализирует большой объем информации о пользователе и сопоставляет ее с данными о фильме, сериале, программе, а также с данными о других зрителях, которые посмотрели и оценили этот контент.

Искусственный интеллект в идеале должен обеспечивать правильный подбор контента для каждого конкретного пользователя.

Какие данные использует алгоритм

Для алгоритма рекомендаций важны два типа данных: исторические и демографические. Данные первого типа дают информацию о просмотрах контента конкретным пользователем или людьми, максимально похожими на пользователя (кто, когда и где посмотрел, сколько времени ушло на просмотр, сколько было повторных просмотров, досматривали ли до конца). Данные второго типа представляют собой социально-демографическую информацию о пользователях: пол, возраст, сферу деятельности и место жительства.

Большую часть пользовательских данных в онлайн-кинотеатре KION предсказывают с помощью моделей машинного обучения на основе агрегированных обезличенных данных. Эти данные собираются в HDFS (Hadoop Distributed File System) — файловую систему, предназначенная для хранения файлов больших размеров.

Как работает рекомендательный алгоритм

Как правило, рекомендации включают три типа фильтрации:

• коллаборативная (collaborative filtering, CF). На основе действий пользователя его классифицируют по определенной категории. Затем алгоритм идентифицирует действия других людей из той же категории/подобной категории и предлагает контент для просмотра;
• на основе содержимого (контентная). Такие механизмы работают в соответствии с описанием элементов и предпочтениями пользователя. В рекомендациях отображаются ключевые понятия, которые потребитель ранее использовал при поиске контента. Например, если он смотрел комедийные шоу, то ему порекомендуют другие программы в этом жанре;
• гибридная. Эта модель объединяет в себе методы двух предыдущих. Самый популярный гибридный подход представляет из себя двухуровневую модель. Сначала в ней работает коллаборативная фильтрация, которая отбирает небольшое число кандидатов, а затем их ранжирует гораздо более мощная контентная модель. Такой тип рекомендаций используют сервисы вроде Youtube или Netflix.

Сначала система рекомендаций типизирует каждую единицу контента по нескольким группам признаков: мета-информация контента (жанры, режиссер, год, страна, теги), коллаборативные признаки взаимодействия пользователей и контента (клики, просмотры и т. д.), признаки видеоряда (технология компьютерного зрения находит и определяет предметы по тегам). Затем эти признаки объединяют в векторы и сохраняют для дальнейших расчетов как шаблоны. Аналогичный процесс происходит в отношении пользователей: каждого человека можно представить в векторном пространстве через взаимодействия с контентом (что смотрел, куда кликал, что досматривал до конца) и в рамках вероятностной модели, определяющей пол, возраст, доход, регион.

Главное — тренировка

Работу любого алгоритма обеспечивает прогнозная модель. Она позволяет заранее предсказать, как будет себя вести зритель, если задать определенные параметры. Чтобы натренировать модель, компании исследуют большое число зрителей и их поведение. При этом задачей становится получить максимальный объем данных о пользователях по разным параметрам.

Например, если из выборки любителей триллеров 90% являются поклонниками тяжелого рока, то высока вероятность, что любителю этого жанра музыки на платформе можно предложить триллер для просмотра, и он заинтересуется этой рекомендацией.

Однако одного выбранного параметра недостаточно для построения рекомендаций. Чтобы советы были релевантными, сервису важно набрать значительный массив обезличенных данных для тренировки своих моделей искусственного интеллекта.

Именно тренировка и обучение моделей занимают 90% рабочего времени при разработке технологии, тогда как написание кода для искусственного интеллекта это лишь 10% времени.

Могут ли алгоритмы успешно работать без человека

Искусственный интеллект логичен, но не креативен, поэтому он может эффективно решать задачи, но для их постановки все равно требуется человек. Редакторские подборки в онлайн-кинотеатрах не менее важны, чем автоматизированные системы рекомендаций, поскольку при их составлении редакторы так же, как и алгоритмы, анализируют накопленные данные, опыт и другие показатели, но вдобавок задействуют творческую интуицию, поэтому в их выборе больше эмоций и знания о человеке и его природе.

Чаще всего необходимость ручного управления возникает при формировании «событийных» подборок. К примеру, модель не умеет делать подборки в честь «Оскара», дня рождения актеров, фестивалей кино и т. д. — набор таких кейсов слишком разнообразен.

В таких случаях выверенная искусственным интеллектом модель подсказок в сочетании творческой интуицией редактора дает наилучшие результаты.

14 октября 2022

Рекомендательные системы: что это и как работает алгоритм рекомендаций

Рекомендательные системы анализируют предпочтения пользователей и предсказывают, что может понравиться им в будущем. Их алгоритмы часто построены на основе машинного обучения: ИИ учится на выборе пользователя и предлагает ему все новые возможности взаимодействия.

Рекомендации используют в разных бизнесах. Интернет-магазины и витрины предлагают выбрать товар в таких разделах, как «популярное за месяц», «с этим товаром также покупают» и «вам может понравиться». Рекомендациями пользуются музыкальные и видеостриминги, чтобы собрать плейлист дня или посоветовать фильм на вечер. Медиа показывают материалы, которые могут понравиться пользователю, а социальные сети предлагают добавить в контакты новых друзей.

Если пространство предполагает выбор, ему наверняка нужна система для построения рекомендаций.

Рекомендательные системы: что это и как работает алгоритм рекомендаций

Рекомендательные системы анализируют предпочтения пользователей и предсказывают, что может понравиться им в будущем. Их алгоритмы часто построены на основе машинного обучения: ИИ учится на выборе пользователя и предлагает ему все новые возможности взаимодействия.

Рекомендации используют в разных бизнесах. Интернет-магазины и витрины предлагают выбрать товар в таких разделах, как «популярное за месяц», «с этим товаром также покупают» и «вам может понравиться». Рекомендациями пользуются музыкальные и видеостриминги, чтобы собрать плейлист дня или посоветовать фильм на вечер. Медиа показывают материалы, которые могут понравиться пользователю, а социальные сети предлагают добавить в контакты новых друзей.

Если пространство предполагает выбор, ему наверняка нужна система для построения рекомендаций.

Для чего нужны рекомендательные системы

Рекомендательные системы помогают пользователю сориентироваться в многообразии продуктов. Если раньше выбор ограничивался витриной офлайн-магазина, то в онлайн-магазине может быть и миллион товаров — все увидеть невозможно. Рекомендации помогают найти то, что нужно.

Пример блока рекомендаций сайта Amazon.com

Пример блока рекомендаций «С этим товаром покупают» магазина «Кант»

Бизнесу рекомендательные системы помогают увеличивать метрики, например продажи. Если не заставлять пользователя искать товар, а сразу показывать то, что он, скорее всего, ищет, это сэкономит его время и поднимет средний чек. Другой пример — рекомендации похожих фильмов и сериалов в онлайн-кинотеатрах увеличивают retention rate пользователя.

Технически рекомендательная система — программа, под капотом которой спрятан обучающийся алгоритм. Формирование рекомендаций происходит так: алгоритму «скармливают» информацию о товарах, пользователях и их взаимодействии, а он подбирает рекомендации. Например, пользователь посмотрел фильм в онлайн-кинотеатре, и алгоритм подбирает новое кино, опираясь на жанр, актеров, год выпуска, режиссера и предпочтения других пользователей, которые посмотрели тот же фильм.

Виды рекомендательных систем

Рекомендации могут быть персонализированными и неперсонализированными. В первом случае мы знаем что-то о пользователе и основываемся на его предпочтениях, во втором — используем популярные или сопутствующие товары.

Мнение

Неперсонализированные рекомендации хорошо работают, когда пользователь только-только зашел на сайт. Мы про него ничего не знаем, но уже хотим ему что-то порекомендовать. Мы показываем ему что-то из списка популярных товаров. Так как с этими товарами взаимодействует наибольшее количество людей, вероятно, они понравятся и ему.

Выделяют четыре вида рекомендательных систем:

• Контентная фильтрация.
• Коллаборативная фильтрация.
• Фильтрация, основанная на знаниях.
• Гибридные рекомендательные системы.

Контентная фильтрация

Контентная фильтрация (content-based filtering) основывается на потребленном контенте.

Например, пользователь зашел в онлайн-кинотеатр и купил боевик с Брюсом Уиллисом. Посмотрел его, поставил хороший балл. В следующий раз пользователю, скорее всего, посоветуют новый боевик с Брюсом Уиллисом. Рекомендательная система ориентируется на то, что пользователь посмотрел, и советует похожие фильмы.

Коллаборативная фильтрация

Коллаборативная фильтрация (collaborative filtering) учится на опыте других пользователей со схожими интересами.

Представим, что есть Петя и есть Вася. Они оба любят мороженое, стейки и лимонад. Еще есть Андрей, который любит мороженое и лимонад. Рекомендательная система интернет-магазина с коллаборативной фильтрацией приходит к выводу, что тем, кто любит мороженое и лимонад, скорее всего, нравятся и стейки. Поэтому в следующий раз система порекомендует стейки и Андрею.

Система, основанная на знаниях

В системе, основанной на знаниях (knowledge-based filtering), рекомендации строятся на основе экспертного мнения. В отличие от рекомендаций в предыдущих системах они чаще всего неперсонализированные.

Например, исследование компании показывает, что на севере России люди предпочитают есть рыбу, а на юге — курицу. Тогда в онлайн-магазине продуктов рекомендации могут отталкиваться от места жительства покупателя.

Гибридная система

В гибридной системе (hybrid filtering) все перемешано: предыдущие виды рекомендаций могут работать вместе и подключаться в разных последовательностях.

Например, параллельное подключение рекомендаций. В спортивном магазине есть пользователь, который занимается теннисом, живет на юге России и часто проводит время в разделе с товарами для походов. Алгоритм уже знает, что теннисисты сейчас увлекаются паддл-теннисом, а на юге пользователи чаще ездят на море летом и ходят в походы осенью. Кроме рекомендаций, основанных на прошлых покупках, система порекомендует ракетки для паддл-тенниса и палатку или зонтик от солнца в зависимости от сезона.

Или последовательное: в музыкальном сервисе появляется новый пользователь, про которого еще ничего неизвестно. Система предлагает выбрать любимых исполнителей — это точка отсчета. Теперь алгоритм рекомендаций может обучаться. Например, он знает, что любители Тейлор Свифт часто слушают Гарри Стайлза, а слушателям джаза обычно по нраву блюз.

Мнение

В гибридной системе главное — не переборщить. Может получиться черный ящик: даже создателям системы будет непонятно, почему конкретному пользователю порекомендовали тот или иной товар. А это довольно частый вопрос, на который хорошо бы знать ответ: он поможет с дальнейшим развитием модели.

Алексей Осипов, product owner товарных рекомендаций

Инструменты для оценки эффективности рекомендательных систем

Качество рекомендаций можно измерить двумя способами:

1. Ретроспективно, офлайн. Это способ проверить эффективность алгоритма рекомендаций до его внедрения в бизнес. Например, у компании есть история взаимодействия пользователя с продуктами за месяц. Для теста из этой истории берется последняя неделя, а первые три «скармливаются» алгоритму рекомендаций в качестве обучающей выборки. Так компания может сравнить то, что система порекомендует, с тем, что на самом деле выбирал пользователь.
2. Онлайн с помощью AB-тестов. Их можно проводить на уже работающих алгоритмах, чтобы оценить, насколько эффективно работают рекомендации. Оценивать их стоит исходя из задач бизнеса. Например, можно оценить разнообразие: пользователь каждый раз видит одно и то же или узнает что-то новое? Сколько товаров показывается пользователям? Насколько новые рекомендации товаров интернет-магазина попадают в цель? Насколько пользователя интересуют эти товары?

Мнение

Качество рекомендаций — субъективный показатель. Его трудно формализовать. Например, если компания хочет расширить товарную линейку, с которой взаимодействует пользователь, нужно добавлять разнообразие в его рекомендации. Это снижает качество рекомендаций, потому что мы добавляем в его витрину немного рандома. Если же мы не будем включать разнообразие, пользователю станет скучно. Приходится постоянно искать баланс.

Алексей Осипов, product owner товарных рекомендаций

Основные проблемы при подключении рекомендательных систем

Проблема холодного старта. В магазин пришел новый клиент без истории заказов: алгоритм пока не знает, что ему показывать. Если в магазине таких пользователей много, то рекомендации в целом могут быть некачественными. Алгоритму нечего порекомендовать персонально клиенту и не на чем основываться, чтобы выбрать популярные товары.

Эта проблема решается накоплением истории. Например, в магазин поступила новая коллекция. С ней никто еще не взаимодействовал, а бизнес хочет, чтобы товары из нее рекомендовались. В этом случае можно сделать виджет с товарами из новой коллекции: как только пользователи начнут с ними взаимодействовать, система получит историю и начнет выделять самые популярные товары.

Проблема «длинного хвоста». Когда у бизнеса много продуктов, а пользователи взаимодействуют только с самыми популярными, алгоритм будет рекомендовать только эти популярные продукты. Вся остальная линейка остается как бы в хвосте.

Эта проблема решается, если периодически добавлять непопулярные продукты в списки рекомендаций. Например, в «длинном хвосте» есть йогурт, который никто не покупает. Система может посоветовать этот йогурт любителю йогуртов, который, возможно, его попробует.

Мнение

Некоторые товары приходится удалять из выборки. Например, в продуктовых магазинах самый популярный продукт — пакет. Пакет рекомендовать как-то странно. Такие продукты мы удаляем из алгоритма рекомендаций: пакет могут купить и с бананами, и с сигаретами. В его покупке нет пространства для обучения системы, его могут купить с любым набором продуктов.

Алексей Осипов, product owner товарных рекомендаций

Преимущества рекомендательных систем

Экономия пользовательского времени. С качественными рекомендациями пользователю не нужно тратить много времени, чтобы найти то, что он ищет. Это помогает справиться с проблемой выбора и напрямую влияет на увеличение метрик бизнеса.

Увеличение метрик бизнеса. В магазинах экономия пользовательского времени может работать на поднятие среднего чека и допродажи. Если система знает, что с надувным кругом часто покупают солнцезащитный крем и шлепанцы, а к вину обычно подбирают фрукты и сыр, то велика вероятность, что после рекомендации сопутствующие товары тоже окажутся в корзине.

В медиа и онлайн-кинотеатрах экономия пользовательского времени работает на вовлечение. Система рекомендует похожие статьи и фильмы, убирая из выборки то, с чем пользователь уже взаимодействовал. Человеку не нужно искать, что еще посмотреть или почитать, и при этом он остается на сайте дольше.

Недостатки рекомендательных систем

Неприятный недостаток рекомендательной системы — она обучает пользователей не задумываться о своих желаниях, а полагаться на алгоритм. Это, в свою очередь, приводит к деградации системы, потому что ей не на чем больше обучаться.

Мнение

Если мне постоянно рекомендуют фильмы с Брюсом Уиллисом, я не взаимодействую с другими продуктами, поэтому у системы недостаточно данных для новых рекомендаций. Мне наскучит эта подборка или боевики с Уиллисом закончатся, и я уйду.

Мы в Mindbox работаем над этой задачей, чтобы алгоритм рекомендаций продолжал функционировать и предлагал что-то случайное — это расширит взаимодействие пользователя с товарами.

Алексей Осипов, product owner товарных рекомендаций

Когда пора внедрять систему рекомендаций

Система рекомендаций нужна бизнесу с большим выбором товаров и историей взаимодействия пользователей с этими товарами. Этих двух признаков достаточно, чтобы задуматься о внедрении простого алгоритма рекомендаций.

При этом внедрять рекомендации можно в разные каналы коммуникации. Они могут существовать в виде витрины на главной странице сайта, в корзине, на карточке товара или в поиске. Алгоритмы активно используют в email-маркетинге: на их основе формируются цепочки писем, которые советуют новые товары, дополняющие или похожие на те, которые пользователь уже приобрел.

Если у бизнеса есть пользователи и товары, система обязательно найдет, что порекомендовать.

---

Авторы английской версии: Влади Рожавски, директор по Data Science, Dynamic Yield; Шана Пилевски, директор по маркетингу, Dynamic Yield; Янив Навот, Chief marketing officer (CMO), Dynamic Yield; Гиди Виго, старший директор по продукту, Dynamic Yield;

Рекомендательные системы (product recommender systems) подбирают и показывают пользователям товары, доступные для покупки на веб-страницах, в мобильных приложениях, email-рассылках, интерактивных экранах (digital kiosks), устройствах интернета вещей (IoT devices) и т.д. Товарные рекомендации — один из самых популярных методов продвижения товаров в розничной торговле. Они упрощают посетителям поиск новых, интересных именно им товаров.

Перед вами перевод «Product Recommendations Course» от компании Dynamic Yield. Над переводом работали Оля Жолудова и Ринат Шайхутдинов. При поддержке koptelnya.ru.

Коптельня  —  команда по быстрой разработке веб-приложений и сайтов.

Содержание:

• Что такое рекомендательные системы и как их применять для улучшения UX и роста продаж | Глава 1
• Примеры рекомендательных стратегий на сайтах и в интернет-магазинах: разбор персонализации главной страницы и карточек товаров с помощью рекомендательных виджетов | Глава 2
• Как работают рекомендательные системы и как выбрать результативную рекомендательную стратегию | Глава 3
• Персональные рекомендации и коллаборативная, совместная фильтрация (collaborative filtering) | Глава 4
• Рекомендации на базе сходств (affinity-based recommendations): введение | Глава 5
• Deep Learning в e-commerce: рассвет рекомендательных систем на базе глубокого обучения (DL) | Глава 6
• Результативные стратегии товарных рекомендаций в e-commerce | Глава 7
• AI-кейс в e-commerce: влияние рекомендательных систем на продажи в APMEX, крупнейшем онлайн-магазине драгоценных металлов в США — Глава 8

Сегодня у розничного продавца могут быть тысячи (если не миллионы) наименований в стоке, и покупателям бывает сложно находить именно те товары, которые им нужны. При помощи персонализированных рекомендаций (personalized recommendations) бренды могут упростить пользователям процесс поиска нужных товаров, отталкиваясь от данных о сходствах (affinities), трендах (trends), интересах (interests) и поведении (behavior). Конечная цель таких рекомендаций — это рост продаж, апселлов (upsell, продажа более дорогой альтернативы товара) и кросс-продаж (cross-sales), увеличение размера корзины и повышение средней стоимости заказа (AOV).

Сегодня самые инновационные в мире бренды активно используют рекомендации. К примеру, Amazon уже порядка 20 лет развивает и подкручивает свои рекомендательные алгоритмы. У Amazon есть прямой доступ к феноменальным объемам клиентских данных, и их рекомендательная система (recommendation system) в корне изменила процесс сопоставления клиентов с товарами, которые скорее всего представляют для них какой-то интерес.

Что такое рекомендательные системы (product recommender systems)? 

Рекомендательная система (система товарных рекомендаций, product recommender system) — это технология на базе машинного обучения, которая подсказывает, какие продукты будут интересны людям, взаимодействующим с цифровыми активами (digital properties) бренда. Рекомендательные алгоритмы собирают данные о пользователях, товарах и контексте (как на сайте, так и за его пределами), и посредством набора алгоритмических решений (algorithmic decisions) формируют для каждого пользователя персонализированный опыт взаимодействия. 

Таким образом, пользователям становится проще находить нужные товары — в том числе и те, потребность в которых они еще не осознали.

По ходу дела бизнес может собрать еще больше информации об уникальных предпочтениях и интересах каждого пользователя. Эти данные также можно использовать для оптимизации эффективности (performance) сайта в реальном времени, параллельно корректируя свои роадмапы тестирования (testing roadmaps) на долгосрочную перспективу. 

Что касается самих товарных рекомендаций, нет какой-то базовой стратегии, которую следует использовать для каждого рекомендательного виджета (widget).  Под разных пользователей нужно применять разные стратегии; выбор стратегий будет зависеть от объема доступных данных о клиентах, их поведении и контексте. Сюда относятся данные о поведении на сайте (site behavior), статусе (status), геолокации (geo-location), времени дня (time of day), прошлых покупках (past purchases) и т.п. 

Стратегии рекомендательных систем

Рекомендации — это ценный источник инсайтов и отличный способ глубже узнать своих клиентов, чтобы научиться лучше их радовать. Кроме того, рекомендации обеспечивают клиентам дополнительную ценность и, как следствие, улучшают отношения с брендом в целом. Что касается стратегий, которые стоят за каждой рекомендацией, их можно условно разделить на три группы: 

• Глобальные (global) рекомендательные стратегии 
• Контекстные (contextual) рекомендательные стратегии
• Персонализированные (personalized) рекомендательные стратегии  

Уже из названия каждой стратегии понятно, для каких товаров мы будем ее применять. На рисунке ниже приведены примеры разных рекомендательных стратегий в рамках каждой группы.

Выбираем рекомендательную стратегию 

При выборе стратегии рекомендаций, маркетолог в первую очередь оценивает объем доступных данных о пользователях и товарах. Кроме того, он учитывает, где находится конкретный пользователь в рамках воронки продаж. На основании всей этой информации, маркетолог и выбирает нужную стратегию. 

Глобальные (global) стратегии 

Такие стратегии, как правило, проще всего реализовать: мы просто показываем любому пользователю — известному или неизвестному — виджет с самыми модными, популярными или часто покупаемыми товарами. 

Контекстные (contextual) стратегии 

Эти стратегии учитывают особенности конкретного товара (product context): его характеристики (цвет/ стиль), категорию и то, как часто его покупают с другими товарами, и на основании этих данных рекомендуют этот товар покупателям. 

Персонализированные (personalized) рекомендательные стратегии

Самая изощренная группа стратегий — это персонализированные стратегии. Они учитывают не только контекст, но и поведение самих пользователей. Обрабатывая одновременно и информацию о пользователях (user data), и данные о товарах (product context), эти стратегии позволяют делать каждому пользователю адекватные индивидуальные рекомендации. А это означает, что для реализации персонализированных стратегий у бренда должен быть доступ к поведенческим данным (behavioral data) о пользователях, таким как история покупок, сходства (affinities), клики, добавления в корзину и т.п.

В некоторых случаях для создания рекомендаций под одного пользователя в ход идет история взаимодействия с сайтом всех остальных пользователей. Например, при стратегии совместной фильтрации (“Collaborative Filtering” strategy) товарные рекомендации формируются на базе предпочтений других пользователей со схожими поведенческими характеристиками. 

Рекомендации на базе сходств (affinity-based recommendations) собираются на основании профилей сходств (affinity profiles), которые рекомендательная система автоматически строит по каждому клиенту на основании доступных данных. Анализируя профили сходств, система выявляет явные предпочтения каждого пользователя — и на их основании делает рекомендации. 

Глобальные стратегии можно применять для всех типов посетителей — будь то новые, повторные или лояльные. А вот контекстуальные и персонализированные стратегии получится применить в рамках первой сессии или первого просмотра (pageview) только при наличии контекстуальной или поведенческой информации о пользователе: например, о его геолокации (контекстуальные стратегии) или сходствах (персонализированные стратегии). 

Чем лучше рекомендации учитывают контекст пользователя и его поведение, тем выше потенциал таких рекомендаций как инструмента роста дохода. Поэтому для постоянных клиентов и VIP пользователей, о которых мы располагаем большими объемами данных, нужно применять именно контекстуальные и персонализированные стратегии. Кроме того, при “наслоении” рекомендательные стратегии только усиливают друг друга и повышают эффективность каждой рекомендации. 

Создаем товарные рекомендации 

Изначально мы выбираем стратегию рекомендаций. Стратегия должна раскрывать логику, по которой товары попадают в рекомендации. Вот несколько примеров стратегий с разной логикой: 

• Просмотрено недавно 
• Самое популярное
• Товары, похожие на текущий
• Товары на основании истории просмотров посетителя
• Товары, которые смотрят вместе с текущим

Эти стратегии расширяют (или наоборот сужают) спектр рекомендованных товаров под каждого пользователя, что позволяет маркетологам за счет тонкой подстройки каждого виджета оптимизировать эффективность взаимодействий и достигать поставленных целей. 

Итак, сначала маркетолог выбирает для каждого виджета рекомендательную стратегию. Далее можно настроить правила отображения товаров в виджете: например, “исключить недавно купленные товары” или “показывать только товары до 25$”.

Некоторые стратегии лучше работают на определенных страницах сайта. Например, стратегия “Вместе с этим товаром смотрят…” идеальна для продуктовых страниц, потому что пользователь и так находится на этапе просмотра товаров. А вот стратегию “Вместе с этим товаром покупают…” здорово использовать на странице с корзиной, особенно в момент, когда пользователь только что добавил в корзину очередной товар. Ну и отличная стратегия для рекомендаций на главной странице — “Самые популярные”: она побуждает и новых, и повторных посетителей исследовать разные товары.     

Совмещаем контекст (context) и намерение (intent)

Рекомендательные стратегии и алгоритмы следует варьировать в зависимости от намерений (intent) пользователя. Есть ряд сигналов, которые помогают выявить эти намерения и определить вероятность конверсии. 

• Пользователи со слабым уровнем намерений (low levels of intent) — это обычно новые или неопознанные посетители, которые приходят из поиска и соц.сетей; либо это мобильный трафик. 
• Пользователи со средним уровнем намерений (medium levels of intent) — это, как правило, повторные посетители (returning visitors), которых мы можем легко опознать и которые приходят на сайт напрямую или из рассылки; либо это трафик с десктопов. 
• Пользователи с высоким уровнем намерений (high level of intent) — это те, кто у вас либо уже покупал, либо добавил товары в корзину, либо ищет товары на вашем сайте напрямую. 

При выборе тестовых рекомендательных стратегий и правил, маркетологам следует руководствоваться именно этой классификацией по уровню намерений. То есть когда пользователь с неявными намерениями (слабый уровень) смотрит какой-то товар, лучше показывать рекомендации вида “Вместе с этим товаром смотрят…” — так мы подстегнем его дальше гулять по сайту и исследовать ассортимент. А вот если к нам приходит пользователь с высоким уровнем намерений (скажем, лояльный покупатель), лучше сработают рекомендации вида “Вместе с этим товаром покупают…” — ведь пользователь горячий, и велики шансы кросс-продажи.

Данные и рекомендательные системы 

Для формирования эффективных рекомендаций нужны данные: как добытые у пользователей напрямую (explicit-данные), так и собранные из сторонних источников (implicit-данные). Система поглощает все эти данные и на их основании решает, какие товары показывать каждому пользователю в рекомендательном виджете (recommendation widget). Рекомендательный движок (recommendation engine) может собирать поведенческие данные каждого пользователя. Сайты собирают данные, которые им так или иначе предоставляют пользователи (first-party data), а данные из сторонних источников (например, информацию из CRM или данные об офлайн-покупках) можно загрузить дополнительно. Чем больше у вас данных — тем сильнее ваша стратегия таргетинга (targeting strategy). 

Типы данных о пользователях

Для прокачки рекомендаций, вам пригодятся следующие типы данных: 

• Данные о местоположении: Страна, регион или город, в котором находится пользователь
• Технические данные: Тип устройства, с которого пользователь заходит на сайт, его браузер, операционная система и т.п. 
• Демографические данные: Пол, возраст, семейное положение пользователя и т.п. 
• Поведенческие данные: Действия пользователя на сайте, включая клики (clicks), добавления в корзину (add-to-carts), наведения (hovers), количество просмотренных страниц (number of pages viewed) и т.п. 
• Данные о сходствах (Affinity-based data): Интересы и предпочтения пользователя, зафиксированные на сайте 
• Данные об онлайн- и офлайн-покупках: Какие продукты пользователь покупал на сайте или в физических магазинах
• Данные об источнике трафика: Откуда пользователь пришел на сайт: прямой трафик, платный трафик, трафик с соц.сетей или реферальный трафик. 
• Данные от третьих лиц: Информация о пользователе из сторонних источников, загруженные через платформу управления данными (DMP). 

Эти данные помогают маркетологам выявлять персоны покупателей (buyer personas) и лучше понимать их покупательские привычки — это пригодится впоследствии, при формировании стратегий сегментации (segmentation strategies). А другие данные (например, об источнике трафика или устройстве пользователя) незаменимы при разработке стратегий таргетинга (targeting strategies).

Чем чаще пользователь заходит на ваш сайт, чем больше он с ним взаимодействует — тем больше данных оказывается в вашем распоряжении. Впоследствии система сможет использовать эти данные, чтобы предсказывать потребности и предпочтения каждого пользователя, эффективнее сегментировать аудиторию и давать более меткие рекомендации.  

Тип посетителя	Доступные данные
Зашел впервые (first-time visitor)	Только контекст (IP / геолокация, источник трафика)
2+ посещений (2+ visits)	Немного данных о взаимодействиях (usage data), немного данных о просмотренных товарах
Повторный посетитель (repeat visitor)	История покупок, больше данных о взаимодействиях (usage data), данные о сходствах (user affinities)

Типы данных о товаре

Не менее важно, чтобы у рекомендательной системы был доступ к данным о товаре, чтобы она могла предлагать правильные товары правильным пользователям. Данные о всех товарах в каталоге продавца (product feeds) можно синхронизировать с рекомендательным движком (recommender engine). Обычно эти данные представляют собой базовую информацию о товарах, представленных на сайте, включая: 

• Артикул (SKU)
• Название товара 
• URL товара
• Цена
• Единиц в наличии
• Фотографии 
• Ключевые слова 

Файлы с данными о товарах (product feeds) можно настраивать: например, добавлять больше значимых деталей (скажем, цвет, размер, стиль и т.п.), которые впоследствии пригодятся для настройки таргетинга. Чем больше у вас данных о товарах  — тем сильнее будут ваши контекстуальные и персонализированные рекомендательные стратегии. 

Сила товарных рекомендаций 

Товарные рекомендации — это отличный способ улучшить общий пользовательский опыт (overall user experience). Рекомендации побуждают пользователей исследовать ваши продукты и одновременно стимулируют рост продаж. Сегодня всю тяжелую работу берут на себя алгоритмы машинного обучения, и маркетологи могут свободно экспериментировать с разными стратегиями, способами сегментациями и виджетами в разных масштабах. Как результат, пользователи видят больше товаров и больше покупают — что, конечно, подстегивает ROI (окупаемость инвестиций) и увеличивает доходы бизнеса. 

---

Это первая глава | Продолжение (Глава 2) →

---

Рассказываем, как работают рекомендательные системы и почему на них строится вся электронная коммерция.

Почти с каждым происходила ситуация, когда вместо покупки только необходимых товаров в магазине человек оказывался на кассе с полной тележкой покупок, существенной части которых вообще не было в изначальном списке. При этом все все они кажутся очень нужными. Ещё чаще аналогичная ситуация может произойти в онлайне — например, на каком-нибудь из популярных маркетплейсов.

Как мы становимся жертвами рекомендательных систем

Первые упоминания о рекомендательных системах появились в 1990-х годах. В 2000-х они стали инструментом электронной коммерции, а компании в короткие сроки ощутили эффект внедрения умных рекомендаций:

• Рост объемов покупок
• Увеличение лояльности клиентов, уменьшение оттока
• Повышение выручки, увеличение среднего чека.

В дальнейшем стало понятно, что рекомендации нужны не только в ритейле, но и в различных веб-сервисах. Пионером использования умных рекомендаций стал стриминговая система Netflix. В итоге это привело к:

• Уменьшению оттока клиентов благодаря персональным рекомендациям
• Увеличению продаж и просмотров.

Успешный пример компании Netflix вдохновил к использованию рекомендательных алгоритмов у других веб-игроков. Сейчас умные рекомендации можно найти практически на каждом коммерческом более или менее крупном сайте.

На самом деле, рекомендации оказывают серьезный положительный эффект на бизнес-метрики компаний, и часто именно эти алгоритмы становятся главным критерием клиентского выбора. Однако рекомендательные системы влияют не только на прибыль: они определяют и вкусы покупателей. В действительности, в такую ситуацию попадал практически каждый из нас. Приведём пример.

Допустим, мы интересуемся йогой, но никак не можем решиться начать регулярные занятия. Попробуем посмотреть аккаунты в Instagram, которые посвящены йоге. И в итоге вся ваша лента в последующие дни и даже недели будет состоять из рекламных постов про йогу. Находясь в таком информационном окружении не стоит удивляться, что через пару недель мы будем заниматься йогой под руководством какого-нибудь инструктора из Instagram. Другими словами, рекомендательные алгоритмы создают информационный вакуум, который может оказать серьёзное воздействие на нашу жизнь.

Построение подобных рекомендательных систем — сложная аналитическая и техническая задача. Занимаются такими задачами специалисты по анализу данных. Алгоритмы рекомендаций на практике представляют из себя сложную последовательность более мелких математических алгоритмов. Но в основе каждого алгоритма всегда лежит довольно простые идеи. Чтобы разобраться в них, давайте вернемся к примеру с маркетплейсом.

Обычно где-то сбоку или снизу от основного меню сайта можно увидеть список товаров, которые каким-то образом специально для вас подбирают математические алгоритмы. Часто в предложенном списке товаров оказываются интересные пользователям вещи. Как это работает?

Рекомендации на основе истории заказов

Допустим, мы сделали на маркетплейсе заказ, состоящий из настольной лампы и набора ручек.

Если маркетплейс открылся не вчера, то наверняка найдутся клиенты, которые заказывали похожие корзины с похожим набором товаров. Клиент А заказал настольную лампу и несколько лампочек, клиент Б заказал набор ручек и органайзер для канцелярских товаров.

Алгоритмы рекомендательных систем сравнивают наши заказы с заказами других пользователей. Если обнаруживается, что наш заказ по набору товаров сильно похож на заказ другого пользователя, то логично порекомендовать что-то из этого заказа. Лучше всего то, чего не было в наших заказах ранее. В данном примере, после сравнения нашего заказа с заказом покупателя А, будут рекомендованы лампочки к настольной лампе.

А после сравнения с заказом покупателя Б будет рекомендован органайзер.

Может оказаться, что мы действительно забыли купить лампочки для лампы, либо давно хотели купить органайзер для канцелярских товаров.

С другой стороны, рекомендованные товары могут оказаться и бесполезными. Представим, что покупатель А купил вместе с настольной лампой пакеты для мусора. Тогда демонстрация в качестве рекомендаций пакетов для мусора не несет в себе логики. Будут ли нужны нам пакеты для мусора — вопрос случайности.

Из этого следует, что рекомендации на основе истории заказов в случае маркетплейса могут работать некорректно. Однако они гораздо более эффективны в стриминговых сервисах, социальных сетях, сервисах с изображениями. Поясним на примере фильмов.

Читайте также:
Как сохранять фокус на протяжении всего обучения: советы от Хекслета

Искусство — вещь субъективная. Насколько вероятно, что если нам понравился фильм А нам также понравится фильм Б? Однозначного ответа нет, но относительно целостную картину позволит составить мнение большого количества людей. Опираясь на такие данные, рекомендательные системы предлагают именно тот фильм, который был выбран другими пользователями в аналогичной ситуации. Это повышает вероятность того, что рекомендация понравится зрителю.

Поэтому в случаях, когда рекомендация может зависеть от субъективного мнения пользователя, уместно использовать алгоритмы на основе истории заказов. Это касается фильмов, музыки, изображений и подобных продуктов.

Но как быть с рекомендациями товаров на маркетплейсе?

Рекомендации на основе схожести товаров

В маркетплейсах используется совсем другой алгоритм, который основан на «схожести» товаров между собой.

Мы выбираем лампы и уже просмотрели некоторое количество вариантов, но продолжаем поиски. Рекомендательная система начинает предлагать нам различные виды ламп, которые мы еще не видели.

Такой вариант формирования рекомендаций часто используется в сервисах по размещению объявлений и маркетплейсах. Например, если мы искали аренду двушки в Москве, то еще долго в разделе рекомендаций будут мелькать предложения по аренде двухкомнатных квартир. Или, если мы выбираем футболку на маркетплейсе, в рекомендациях будем видеть другие предложения по футболкам.

В условиях огромного выбора такой подход позволяет увидеть максимально широкий перечень товаров и приобрести именно тот, который наилучшим образом удовлетворяет наши пожелания по цене и качеству.

В отличие от фильмов или музыки, здесь можно четко определить, какие товары или услуги похожи друг с другом. Поэтому рекомендации на основе похожести товаров будут давать лучший эффект.

Типы рекомендательных систем

Начавшись как простой помощник в торговле, рекомендательные системы выросли в сложные алгоритмы, которые влияют на жизни миллиардов людей. Но, как это ни странно, в основе столь мощного инструмента лежат довольно простые идеи.

Первый из рассмотренных нами методов подбирает товары на основе истории заказов других пользователей. Алгоритм рекомендует то, что обычно входит в похожий по составу заказ. Такой подход может быть эффективен в ситуациях, когда сходство товаров неочевидно или субъективно. Например, при выборе фильмов, музыки или изображений.

Второй метод ищет товары, которые похожи на выбранные или просмотренные пользователем. Рекомендации могут являться аналогами, заменителями или товарами из смежных категорий. Такой алгоритм хорошо работает в ситуациях, когда сходство товаров очевидно: например, на маркетплейсе или сервисе по размещению объявлений.

В действительности разновидностей рекомендательных систем гораздо больше, и каждая из них в чем то уникальна. Уникальность обуславливается особенностями компаний, данных в компании, клиентов и целей компании.

Никогда не останавливайтесь:
В программировании говорят, что нужно постоянно учиться даже для того, чтобы просто находиться на месте. Развивайтесь с нами — на Хекслете есть сотни курсов по разработке на разных языках и технологиях