Почему идеальной ML-модели недостаточно, чтобы построить бизнес вокруг ML

В 2021 году Zillow — один из крупнейших маркетплейсов недвижимости в США — объявил о сокращении 25% сотрудников и списании $304 миллионов убытков. На фоне новостей акции Zillow обвалились.

Что же пошло не так?

Дело в том, что значительная часть бизнеса Zillow к этому моменту была выстроена вокруг ML-технологий, крайне точно прогнозирующих текущую стоимость недвижимости. И даже несмотря на то, что сами по себе ML-модели были хорошими и качественными, их интеграция в бизнес-процессы оказалась, можно сказать, катастрофической.

Давайте обсудим, как же так вышло.

Один из известных сервисов Zillow называется Zestimate, и он позволяет владельцам домов в реальном времени отслеживать стоимость своей недвижимости. Работает он, как вы уже догадались, на основе ML-моделей, дающих весьма точные прогнозы.

Изначально Zestimate разрабатывался как механизм повышения Retention маркетплейса. Ведь люди покупают и продают дома не слишком часто, а заходить в Zillow в другие моменты жизни не имеет особого смысла. Зато отслеживать стоимость своего дома на регулярной основе — это уже вполне себе ежемесячный юзкейс, который легко может стать привычкой.

В 2018 году на основе наработок для Zestimate было решено запустить новое направление работы в Zillow. Теперь маркетплейс стал покупать дома для последующей их перепродажи по более высокой цене.

Ценность нового продукта для пользователей была в возможности закрыть сделку по продаже дома очень быстро. После этого Zillow планировали делать ремонт в доме и продавать его с наценкой.

Идея не была оригинальной, но у Zillow были преимущества перед конкурентами: доступ к капиталу и суперточные ML-модели для прогнозирования стоимости дома.

Но ставка на бизнес, выстроенный вокруг ML, не сработала. В 2021 году компания объявила о закрытии программы выкупа домов, а также сократила четверть сотрудников и списала колоссальные убытки.

Проблема была не столько в ML-моделях, сколько в том, как именно их интегрировали в бизнес. Модели хорошо оценивали стоимость домов в текущем моменте. Но сделки по покупке и последующей продаже занимают время, в течение которого стоимость домов может существенно меняться. Именно это случилось в 2021 году, когда на фоне ряда глобальных процессов в экономике произошло охлаждение рынка недвижимости и взаимосвязи между характеристиками домов и их стоимостью поменялись. Все это привело к тому, что примерно 2/3 приобретенных домов оказались куплены по более высоким ценам, чем цена их возможной продажи.

Какие выводы можно сделать из этой истории

Успех бизнеса, выстроенного вокруг ML, зависит не только от технологий машинного обучения как таковых и качества созданных моделей. Важно правильно внедрить эти модели в бизнес. Риск потерпеть неудачу возникает из-за ошибочных предположений, которые с машинным обучением, собственно, никак не связаны.

Какие вопросы можно себе задать, чтобы избежать подобных ошибок

— Обеспечены ли ваши ML-модели достаточным мониторингом и актуализацией?

— Есть ли скрытые риски за пределами ML, которые могут сильно повлиять на бизнес?

***

Если вы хотите научиться видеть возможности для использования AI и ML в своих проектах и уметь превращать их в работающие для бизнеса решения, присоединяйтесь к студентам «AI/ML-симулятора для продакт-менеджеров» от GoPractice.