Внесение ясности в машинное обучение

методы повышения объяснимости моделей машинного обучения

Многие люди рассматривают алгоритмы машинного обучения (ML) как черные ящики из-за сложных шаблонов, которые они могут изучать в многомерных пространствах с минимальным вмешательством человека в спецификацию модели. Однако это мнение является ошибочным. Это часто поддерживается популярными промышленными приложениями ML, где основное внимание уделяется получению более качественных прогнозов, а не теоретическому пониманию модели.

Однако недавние научные открытия показали, что машинное обучение можно использовать в научных исследованиях различными способами. Машинное обучение может быть не просто «оракулом» или прогностической машиной, а для более глубокого понимания лежащих в его основе процессов и взаимосвязей внутри данных. Это включает, например, обнаружение ранее неизвестных закономерностей и идей, а также объяснение прогнозов, сделанных моделью.

Этапы объяснения:

Объяснимый ИИ — это важнейший аспект машинного обучения (МО), который включает в себя прозрачность и понятность внутренней работы модели. Есть несколько шагов, которые можно предпринять, чтобы повысить объяснимость модели ML:

1. Объяснимость перед моделированием: этот шаг включает в себя анализ и понимание данных, которые будут использоваться для обучения модели. Это включает в себя выполнение исследовательского анализа данных и создание четких, интерпретируемых функций с помощью разработки функций. Делая это, вы можете гарантировать, что модель работает с высококачественными релевантными данными, которые легко понять.
2. Объяснимость моделирования: при выборе модели для конкретной проблемы, как правило, лучше всего использовать наиболее интерпретируемую модель, которая по-прежнему дает хорошие прогностические результаты. Например, деревья решений и линейные модели, как правило, более интерпретируемы, чем нейронные сети.
3. Объяснимость после модели: после обучения модели существует несколько методов, которые можно использовать для понимания ее прогнозов. Одним из таких методов является возмущение, которое включает изменение одной переменной и анализ влияния на выходные данные модели. Другой метод заключается в использовании значений SHAP, которые обеспечивают меру важности функций и могут использоваться для объяснения прогнозов модели.

Как понять можно извлечь М.Л. Черный ящик.

С этой точки зрения машинное обучение — это просто «оракул», машина предсказаний, из которой нельзя извлечь никакого понимания. Взгляд черного ящика на машинное обучение — это заблуждение. Это подпитывается популярными промышленными приложениями машинного обучения, где поиск лучших прогнозов перевешивает потребность в теоретическом понимании. Обзор недавних научных прорывов показывает радикально разные способы использования МО в науке, в том числе следующие:

Существование

Существование: машинное обучение было развернуто для оценки правдоподобия теории во всех научных областях, даже за пределами эмпирических наук. Примечательно, что алгоритмы машинного обучения помогли сделать математические открытия. Алгоритмы ML не могут доказать теорему, однако они могут указать на существование неоткрытой теоремы, которую затем можно предположить и в конечном итоге доказать. Другими словами, если что-то можно предсказать, есть надежда, что механизм может быть раскрыт.

Важность:

Алгоритмы машинного обучения (МО) способны определять относительную важность различных функций или объясняющих переменных как для объяснительных, так и для прогнозных целей. Это делается с помощью таких методов, как точность среднего уменьшения (MDA), которая включает в себя подгонку алгоритма ML к конкретному набору данных, получение перекрестной проверки точности вне выборки, повторение этого процесса после перетасовки временных рядов отдельных признаков или комбинации функций, а затем сравнение снижения точности между ними.

Если перетасовка временных рядов определенного признака приводит к значительному снижению точности, можно сделать вывод, что этот признак важен для прогнозов модели. Этот метод, хотя и не раскрывает лежащий в основе модели механизм, может помочь в определении переменных, которые должны быть включены в теорию. Важно отметить, что MDA — это лишь один из многих доступных методов определения важности признаков, а другие методы, такие как важность перестановки или значения SHAP, могут дать больше информации о том, как работает модель.

причинность

Алгоритмы машинного обучения (ML) также можно использовать для оценки причинно-следственных связей, выполнив ряд шагов: (1) обучение модели ML на исторических данных для прогнозирования результатов в отсутствие эффекта. Эта модель основана на данных и не опирается на конкретную теорию; (2) сбор наблюдений за результатами при наличии эффекта; (3) использование обученной модели из шага (1) для прогнозирования наблюдений, собранных на шаге (2). Разницу между прогнозами и фактическими результатами можно объяснить эффектом, и можно предложить теорию причинно-следственной связи.

Важно отметить, что, хотя этот подход может дать представление о причинно-следственных связях в данных, важно проявлять осторожность и рассматривать другие методы, такие как наблюдательные исследования, эксперименты или основы причинно-следственного вывода, и использовать их в сочетании с моделями ML. Кроме того, этот подход следует использовать с осторожностью и при наличии соответствующих знаний в предметной области, поскольку на него могут повлиять такие проблемы, как смешанные переменные или систематическая ошибка выбора.

Редукционист

Этот подход помогает уменьшить сложность данных, делая их более управляемыми и понятными. Кроме того, он может выявить важные закономерности и структуры в данных, которые могут быть незаметны сразу. Важно отметить, что редукционистские методы, такие как множественное обучение, могут быть полезны для выявления закономерностей в данных, но их следует использовать в сочетании с другими методами, чтобы получить более глубокое понимание данных и таким образом, чтобы сохранить целостность исходных данных. , избегая потери информации.

ретривер

Стоит отметить, что это всего лишь несколько примеров того, как МО можно использовать в качестве «извлекателя» шаблонов и знаний из больших наборов данных, и что сила этих методов заключается в способности обрабатывать и анализировать большие объемы данных в относительно короткий промежуток времени. Однако также важно понимать, что машинное обучение не заменяет человеческий анализ и понимание, и что для более глубокого понимания лежащих в основе закономерностей и взаимосвязей необходимы дальнейшие исследования и тщательный анализ данных.

Методы интерпретации:

Один из способов понять внутреннюю работу модели - использовать методы интерпретируемости, такие как SHAP (аддитивные объяснения Шэпли), LIME (локальные интерпретируемые объяснения, не зависящие от модели), BreakDown, Anchors и другие. Эти методы могут помочь объяснить прогнозы модели, такие как важность функции и граница решения модели.

Визуализация модели

Визуализация модели. Другой подход заключается в использовании методов визуализации модели, таких как диаграммы дерева решений, графики частичной зависимости и карты значимости. Они могут помочь обеспечить графическое представление поведения модели и процесса принятия решений.

Осмотр модели

Проверка модели. Проверяя параметры и коэффициенты модели, вы можете получить представление о том, как модель делает прогнозы. Это можно сделать, проанализировав веса нейронных сетей, точки разделения деревьев решений и коэффициенты линейных моделей.

Аудит модели:

Аудит модели: Аудит модели — это процесс оценки достоверности, надежности и общей производительности модели путем сравнения ее с эталоном или путем выявления важных функций.

Человек в курсе

Человек в цикле: подход с участием человека в цикле, который включает в себя включение человеческого опыта и отзывов в процесс принятия решений модели ML. Это может помочь гарантировать, что модель принимает точные и этичные решения, а также может помочь улучшить производительность модели с течением времени.

Заключение

В заключение, повышение объяснимости модели ML — это многоэтапный процесс, который начинается с понимания данных, выбора интерпретируемой модели и использования таких методов, как возмущение и значения SHAP, чтобы получить представление о прогнозах модели. Благодаря этому может быть легче понять, как модель принимает решения, что может привести к повышению производительности, большему доверию со стороны пользователей и более прозрачному и справедливому процессу принятия решений.

Ссылка:

машинное обучение для управляющих активами

Подпишитесь на DDIntel Здесь.

Посетите наш сайт здесь: https://www.datadriveninvestor.com

Присоединяйтесь к нашей сети здесь: https://datadriveninvestor.com/collaborate