Машинное обучение для экономических исследований: когда, как и что?

Эта статья предназначена для экономистов, заинтересованных в использовании машинного обучения (МО) для своих исследований и приложений, а также для специалистов по данным, которые хотят применять свои инструменты для экономического анализа.

Фон:

Недавно я посетил сессию повышения квалификации Американской экономической ассоциации на тему Машинное обучение и большие данные, которую проводили Мелисса Делл (Гарвардский университет) и Мэттью Хардинг (Калифорнийский университет в Ирвине) на ежегодном собрании ASSA 2023 — крупнейшем собрании социологов.

В этой короткой статье я обобщил основные уроки, извлеченные из этих сессий, и краткий обзор избранных статей, опубликованных в ведущем экономическом журнале, использующем МО.

Примечание. Статья носит скорее рекомендательный, чем пояснительный характер и разделена на три основных раздела, каждый из которых посвящен одному ключевому вопросу:

Когда машинное обучение полезно в экономике?
Какие модели машинного обучения рекомендуются?
Как использовать машинное обучение для ваших экономических приложений?

Мы заканчиваем блог обсуждением ограничений ML в его нынешнем виде. Попутно буду также давать ссылки на полезные ресурсы.

Когда машинное обучение полезно в экономике?

И Мелисса, и Мэтью в своем курсе приводили следующие три случая, когда модели машинного обучения могут повысить ценность экономического анализа.

1. Для обработки нетрадиционных данных, таких как изображения, тексты и т. д.

Нетрадиционные и детализированные наборы данных, такие как изображения, тексты, аудио и видео, трудно обрабатывать с помощью традиционных эконометрических моделей; поэтому ML можно использовать для извлечения полезной информации в таких случаях.

Например, в Hansen et al. (2018), опубликованном в QJE, авторы отвечают, как прозрачность влияет на обсуждение монетарной политики, используя данные НЛП и алгоритмы машинного обучения. Точно так же Larsen et al. (2021), опубликованные в JME,используют большой корпус новостей и алгоритмы машинного обучения для исследования роли, которую играют СМИ в процессе формирования ожиданий домохозяйств.

2. Чтобы зафиксировать нелинейность, которую сложно использовать с помощью традиционных моделей

ML может быть полезен, если данные и приложение содержат сильную нелинейность, которую трудно уловить с помощью традиционных подходов.

Например, в Maliar et al. (2021), опубликованном в JME, авторы используют машинное обучение для решения динамической экономической модели, вводя их в набор уравнений нелинейной регрессии. Точно так же в Kleinberg et al. (2018), опубликованном в QJE, авторы оценивают, может ли ОД улучшить решения судей об освобождении под залог или об отказе от него. Хотя результат является бинарным, это очень сложная проблема, которая требует обработки сложных данных для принятия взвешенных решений.

3. Обрабатывать традиционные данные в масштабе, чтобы повысить точность прогнозов или извлечь новую информацию.

Машинное обучение может быть полезно для обработки больших и сложных (больших)данныхс множеством переменных. Модели машинного обучения могут помочь: 1. повысить точность прогнозирования, 2. извлечь новую информацию или 3. автоматизировать извлечение признаков.

Бьянки и др. (2022), опубликованные в AER, показывают, что машинное обучение может быть продуктивно развернуто в среде, богатой данными, для исправления ошибок человеческого суждения в ответах на опросы и повышения точности прогнозов. Точно так же в Bandiera et al. (2020), опубликованном в JPE, авторы измеряют поведение генерального директора, используя высокочастотные многомерные данные дневника и алгоритм машинного обучения. Наконец, в Farbmacher et al. (2020), опубликованном в журнале JoE, автор использует машинное обучение для обнаружения мошенничества в страховых случаях с использованием крайне неструктурированных данных.

ML, вероятно, бесполезен в случаях, когда сложность данных (которая может быть связана с формой, размером, коллинеарностью, нелинейностью и т. д.) невелика, и, вероятно, будет достаточно традиционных эконометрических моделей. Однако при увеличении сложности данных, например при работе с большими данными, добавленная стоимость моделей машинного обучения может быть выше (как показано на диаграмме выше).

Какие модели машинного обучения рекомендуются?

1. При работе с текстовыми данными полезна модель «преобразование».

Для обработки текстовых данных можно использовать множество больших языковых моделей; однако модели трансформеры оказались более полезными. О них можно узнать на различных ресурсах, в том числе на Курсе Coursera Эндрю Нг, а еще мне помогла эта Статья на Medium.

2. При работе с изображениями полезна модель «ConvNext».

Для обработки изображений можно использовать многие архитектуры CNN, но модель ConvNext оказалась более успешной. Опять же, вы можете прочитать эту статью для подробного объяснения модели и эту статью на Medium для интуитивного понимания.

3. При работе с традиционными данными в экономике полезны модели «обучения ансамбля».

Ансамблевые модели обучения могут быть полезны, если размер данных невелик, но включает много функций, а также при наличии коллинеарности или нелинейности, которые трудно зафиксировать. Есть много ресурсов, чтобы узнать об этих моделях, в том числе этот Курс Coursera и эта Статья на Medium.

4. При моделировании стратегических решений полезно «обучение с подкреплением».

RL может быть полезен, если основной целью является моделирование сложных стратегических решений в экономических приложениях, где доступна только частичная информация. Однако это находится на ранней стадии, и есть всего несколько приложений в экономике, где его можно использовать — например, статья Экономист ИИ и приложение в платежах. Вы можете узнать больше об RL в этой Книге Саттона и Барто и в этом Курсе Coursera.

5. Когда основное внимание уделяется причинно-следственным выводам, может помочь «каузальное МО».

Причинное машинное обучение может быть полезно, когда основная цель состоит в том, чтобы сделать причинно-следственные выводы, но набор данных большой и сложный. Это новая область исследований; тем не менее, вы можете изучить этот Стэнфордский курс и исследовательскую работу Сьюзан Этей, чтобы узнать больше. Для интуитивного понимания без излишних технических подробностей ознакомьтесь с этой статьей на Medium.

Как использовать машинное обучение для ваших экономических приложений?

Рекомендуется использовать предварительно обученные модели и трансферное обучение, особенно если вы используете модели глубокого обучения.
Готовые модели обучения по ансамблю полезны при работе с панельными данными с сильной коллинеарностью или нелинейностью, но рекомендуется адаптировать эти модели подходят для задачи.
Чем больше, тем лучшекогда речь идет об использовании моделей глубокого обучения.

Некоторые технические указания:

Язык программирования Python предпочтительнее R для прикладного машинного обучения.
Операционные системы Unix предпочтительнее систем windows для обучения больших моделей.

Ограничения

Большие объемы данных и обширные вычислительные ресурсы часто необходимы для обучения моделей машинного обучения, особенно моделей глубокого обучения.
Модели машинного обучения не имеют стандартных ошибок и асимптотических свойств, что может быть важно для многих экономических приложений.
Благодаря своей гибкости модели машинного обучения легко подгонять; и их сложность затрудняет их интерпретацию, что может быть важно во многих экономических приложениях.