Интерпретируемое машинное обучение на Python

Санкт-Петербург
«БХВ-Петербург»

2023

УДК 004.43
ББК 32.973-018.1

М31

Масис С.
М31 Интерпретируемое машинное обучение на Python: Пер. с англ. — СПб.:

БХВ-Петербург, 2023. — 640 с.: ил.

ISBN 978-5-9775-1735-5

Книга поможет осознанно и эффективно работать с моделями машинного обу-
чения. Дано введение в интерпретацию машинного обучения: раскрыты важность
темы, ее ключевые понятия и проблемы. Рассмотрены методы интерпретации: мо-
дельно-агностические, якорные и контрфактические, для многопеременного про-
гнозирования, а также визуализации сверточных нейронных сетей. Раскрыты во-
просы настройки на интерпретируемость: отбор и конструирование признаков,
ослабление систематического смещения и причинно-следственный вывод, моно-
тонные ограничения, настройка моделей и устойчивость к антагонизму. Показаны
перспективы развития интерпретируемых моделей машинного обучения. Каждая
глава книги включает подробные примеры исходного кода на языке Python.

На сайте издательства размещен архив с цветными иллюстрациями.

Для программистов в области машинного обучения

УДК 004.43
ББК 32.973-018.1

Научный редактор:
Инженер-разработчик компании КРОК Анвар Хафизов

Группа подготовки издания:

Руководитель проекта Евгений Рыбаков

Зав. редакцией Людмила Гауль

Перевод с английского Андрея Логунова

Редактор Анна Кузьмина

Компьютерная верстка Натальи Смирновой

Корректор Светлана Крутоярова

Оформление обложки Зои Канторович

© Packt Publishing 2021. First published in the English language under the title
‘Interpretable Machine Learning with Python – (9781800203907)’

Впервые опубликовано на английском языке под названием
‘Interpretable Machine Learning with Python – (9781800203907)’

Подписано в печать 02.12.22.
Формат 701001/16. Печать офсетная. Усл. печ. л. 51,6.

Тираж 1200 экз. Заказ №
"БХВ-Петербург", 191036, Санкт-Петербург, Гончарная ул., 20.

Отпечатано с готового оригинал-макета
ООО "Принт-М", 142300, М.О., г. Чехов, ул. Полиграфистов, д. 1

ISBN 978-1-80020-390-7 (англ.) © Packt Publishing, 2021
ISBN 978-5-9775-1735-5 (рус.) © Перевод на русский язык, оформление.

ООО "БХВ-Петербург", ООО "БХВ", 2023

Оглавление

Об авторе ........................................................................................................................ 15

О рецензентах................................................................................................................. 17

Предисловие ................................................................................................................... 19
Для кого эта книга предназначена................................................................................. 20
Что эта книга охватывает ............................................................................................... 21
Как получить максимальную отдачу от этой книги .................................................... 23
Загрузка файлов с исходным кодом .............................................................................. 24
Загрузка цветных изображений ..................................................................................... 25
Используемые условные обозначения .......................................................................... 25

ЧАСТЬ I. ВВЕДЕНИЕ В ИНТЕРПРЕТАЦИЮ МАШИННОГО ОБУЧЕНИЯ ........................ 27

Глава 1. Интерпретация, интерпретируемость и объяснимость:
почему всё это важно?.................................................................................................. 29
Технические требования ................................................................................................ 30
Что такое интерпретация машинного обучения?......................................................... 30

Изучение простой модели предсказания веса ....................................................... 31
Понимание разницы между интерпретируемостью и объяснимостью...................... 37

Что такое интерпретируемость? ............................................................................. 37
Что такое объяснимость? ........................................................................................ 40
Деловое обоснование интерпретируемости ................................................................. 42
Более качественные решения.................................................................................. 42
Более надежные бренды .......................................................................................... 44
Более высокий уровень этичности ......................................................................... 46
Более высокая прибыльность ................................................................................. 49
Резюме.............................................................................................................................. 50
Источники изображений ................................................................................................ 50
Справочные материалы .................................................................................................. 50

Глава 2. Ключевые понятия интерпретируемости................................................. 52
Технические требования ................................................................................................ 52
Миссия ............................................................................................................................. 52

Подробности о сердечно-сосудистых заболеваниях ............................................ 53

6 Оглавление

Подход.............................................................................................................................. 54
Подготовительные работы ............................................................................................. 54

Загрузка библиотек .................................................................................................. 54
Изучение проблемы и подготовка данных ............................................................ 54
Ознакомление с типами методов интерпретации и диапазонами
интерпретируемости ....................................................................................................... 57
Типы методов модельной интерпретации ............................................................. 61
Диапазоны модельной интерпретируемости......................................................... 61
Интерпретирование отдельных предсказаний с помощью логистической
регрессии .................................................................................................................. 62
Оценивание препятствий, мешающих интерпретируемости результатов
машинного обучения ...................................................................................................... 67
Нелинейность ........................................................................................................... 69
Интерактивность ...................................................................................................... 72
Немонотонность....................................................................................................... 72
Миссия выполнена .......................................................................................................... 74
Резюме.............................................................................................................................. 75
Справочные материалы .................................................................................................. 75

Глава 3. Трудности интерпретации........................................................................... 76

Технические требования ................................................................................................ 76
Миссия ............................................................................................................................. 76
Подход.............................................................................................................................. 78
Подготовительные работы ............................................................................................. 78

Загрузка библиотек .................................................................................................. 78
Изучение проблемы и подготовка данных ............................................................ 79
Обзор традиционных методов модельной интерпретации ......................................... 84
Предсказывание минут задержки с помощью различных
регрессионных методов........................................................................................... 84
Классифицирование рейсов как задержанных либо незадержанных
с использованием различных классификационных методов............................... 89
Визуализация задержанных рейсов с помощью методов понижения
размерности .............................................................................................................. 96
Ограничения традиционных методов модельной интерпретации ........................... 102
Изучение имманентно интерпретируемых моделей (типа белого ящика) .............. 103
Обобщенные линейные модели............................................................................ 103
Деревья решений.................................................................................................... 118
RuleFit ..................................................................................................................... 123
Метод ближайших соседей ................................................................................... 125
Наивный Байес ....................................................................................................... 127
Распознавание компромисса между результативностью
и интерпретируемостью ............................................................................................... 130
Особые модельные свойства................................................................................. 130
Диагностика результативности ............................................................................ 131

Оглавление 7

Обнаружение более новых интерпретируемых (аквариумных) моделей ................ 134
Объяснимая бустинговая машина ........................................................................ 134
Skoped-Rules ........................................................................................................... 138

Миссия выполнена ........................................................................................................ 140
Резюме............................................................................................................................ 141
Источник набора данных.............................................................................................. 141
Справочные материалы ................................................................................................ 142

ЧАСТЬ II. ОСВОЕНИЕ МЕТОДОВ ИНТЕРПРЕТАЦИИ .................................................. 143

Глава 4. Основы важности признаков и их влияние ........................................... 145

Технические требования .............................................................................................. 145
Миссия ........................................................................................................................... 146

Личность и очередность рождения ...................................................................... 146
Подход............................................................................................................................ 147
Подготовительные работы ........................................................................................... 147

Загрузка библиотек ................................................................................................ 147
Изучение проблемы и подготовка данных .......................................................... 148
Как измерить влияние признака на исход .................................................................. 150
Важность признаков в древовидных моделях..................................................... 154
Важность признаков в логистической регрессии ............................................... 156
Важность признаков в линейном дискриминантном анализе ........................... 159
Важность признаков в многослойном персептроне ........................................... 161
Применение перестановочной важности признаков на практике ............................ 162
Недостатки метода перестановочной важности признаков ............................... 165
Интерпретирование графиков частичной зависимости............................................. 166
Интеракционные графики частичной зависимости ............................................ 171
Недостатки графиков частичной зависимости.................................................... 174
Объяснение графиков индивидуального условного ожидания ................................ 174
Недостатки графиков индивидуального условного ожидания.......................... 179
Миссия выполнена ........................................................................................................ 179
Резюме............................................................................................................................ 180
Источник набора данных.............................................................................................. 180
Справочные материалы ................................................................................................ 180

Глава 5. Модельно-агностические методы глобальной интерпретации.......... 182

Технические требования .............................................................................................. 182
Миссия ........................................................................................................................... 183
Подход............................................................................................................................ 184
Подготовительные работы ........................................................................................... 185

Загрузка библиотек ................................................................................................ 185
Изучение проблемы и подготовка данных .......................................................... 186
Значения Шепли............................................................................................................ 196

8 Оглавление

Интерпретирование сводки SHAP и графиков зависимости .................................... 198
Генерирование сводных графиков SHAP ............................................................ 202
Изучение взаимодействий..................................................................................... 204
Графики зависимости SHAP ................................................................................. 207
Силовые графики SHAP ........................................................................................ 215

Графики накопленных локальных эффектов.............................................................. 217
Глобальные суррогаты.................................................................................................. 221

Подгонка суррогатов ............................................................................................. 221
Оценивание суррогатов......................................................................................... 222
Интерпретирование суррогатов............................................................................ 223
Миссия выполнена ........................................................................................................ 225
Резюме............................................................................................................................ 225
Справочные материалы ................................................................................................ 226

Глава 6. Модельно-агностические методы локальной интерпретации ........... 227

Технические требования .............................................................................................. 227
Миссия ........................................................................................................................... 227
Подход............................................................................................................................ 228
Подготовительные работы ........................................................................................... 229

Загрузка библиотек ................................................................................................ 229
Изучение проблемы и подготовка данных .......................................................... 230
Задействование ядерного объяснителя SHAP для локальных интерпретаций
со значениями SHAP..................................................................................................... 236
Обучение модели C-SVC ...................................................................................... 237
Вычисление значений SHAP с помощью ядерного объяснителя...................... 239
Локальная интерпретация для группы предсказаний с использованием
графиков решений ................................................................................................. 241
Локальная интерпретация по одному предсказанию за раз
с использованием силового графика.................................................................... 244
Применение локально интерпретируемых модельно-агностических
объяснений..................................................................................................................... 247
Что такое LIME? .................................................................................................... 247
Локальная интерпретация по одному предсказанию за раз
с использованием табличного объяснителя на основе LIME ............................ 249
Использование метода LIME для NLP........................................................................ 251
Обучение модели LightGBM................................................................................. 253
Локальная интерпретация по одному предсказанию за раз
с использованием текстового объяснителя на основе LIME ............................. 254
Опробование SHAP в обработке естественного языка.............................................. 257
Сравнение SHAP с LIME.............................................................................................. 260
Миссия выполнена ........................................................................................................ 261
Резюме............................................................................................................................ 262
Источник набора данных.............................................................................................. 262
Справочные материалы ................................................................................................ 262

Оглавление 9

Глава 7. Якорные и контрфактические объяснения............................................ 264

Технические требования .............................................................................................. 264
Миссия ........................................................................................................................... 264

Необъективная смещенность в диагностиках риска рецидивизма ................... 266
Подход............................................................................................................................ 267
Подготовительные работы ........................................................................................... 267

Загрузка библиотек ................................................................................................ 267
Изучение проблемы и подготовка данных .......................................................... 268
Якорные объяснения..................................................................................................... 278
Подготовительные работы для якорных и контрафактических
объяснений с помощью библиотеки alibi ............................................................ 279
Локальные интерпретации якорных объяснений ............................................... 281
Анализ контрфактических объяснений....................................................................... 284
Контрфактические объяснения под руководством прототипов ........................ 285
Получение контрфактических экземпляров и многого другого
с помощью инструмента What-If Tool (WIT) ...................................................... 289
Сравнение с помощью метода контрастивного объяснения..................................... 299
Миссия выполнена ........................................................................................................ 303
Резюме............................................................................................................................ 304
Источник набора данных.............................................................................................. 304
Справочные материалы ................................................................................................ 304

Глава 8. Визуализация сверточных нейронных сетей ......................................... 306

Технические требования .............................................................................................. 306
Миссия ........................................................................................................................... 307
Подход............................................................................................................................ 308
Подготовительные работы ........................................................................................... 309

Загрузка библиотек ................................................................................................ 309
Изучение проблемы и подготовка данных .......................................................... 310
Диагностика CNN-классификатора традиционными методами
интерпретации........................................................................................................ 315
Визуализирование процесса усвоения с помощью активационных методов.......... 323
Промежуточные активации................................................................................... 325
Максимизация активации ..................................................................................... 328
Оценивание ошибочных классификаций с помощью градиентных методов
атрибуции ...................................................................................................................... 332
Карты значимости.................................................................................................. 333
Метод градиентных карт активаций классов Grad-CAM................................... 336
Интегрированные градиенты................................................................................ 338
Окончательная сборка ........................................................................................... 341
Объяснение классификаций с помощью пертурбационных методов
атрибуции ...................................................................................................................... 344
Окклюзивная чувствительность ........................................................................... 344
Объяснитель изображений методом LIME ......................................................... 347
Метод контрастивных объяснений ...................................................................... 349

10 Оглавление

Окончательная сборка ........................................................................................... 354
Бонусный метод: глубокий объяснитель SHAP.................................................. 357
Миссия выполнена ........................................................................................................ 358
Резюме............................................................................................................................ 359
Источники данных и изображений.............................................................................. 359
Справочные материалы ................................................................................................ 360

Глава 9. Методы интерпретации для многопеременного
прогнозирования и анализа чувствительности .................................................... 361

Технические требования .............................................................................................. 362
Миссия ........................................................................................................................... 362
Подход............................................................................................................................ 364
Подготовительные работы ........................................................................................... 365

Загрузка библиотек ................................................................................................ 365
Изучение проблемы и подготовка данных .......................................................... 366
Диагностика моделей временного ряда с использованием традиционных
методов интерпретации ................................................................................................ 375
Использование стандартных регрессионных метрик ......................................... 376
Агрегации предсказательных ошибок ................................................................. 378
Оценивание как классификационная задача ....................................................... 380
Генерирование LSTM-атрибуций с помощью интегрированных градиентов ........ 381
Вычисление глобальных и локальных атрибуций с помощью ядерного
объяснителя SHAP ........................................................................................................ 387
Зачем использовать ядерный объяснитель? ........................................................ 387
Определение стратегии, позволяющей работать с моделью
многопеременного временного ряда.................................................................... 388
Заложение основы для стратегии аппроксимации перестановок...................... 389
Выявление влияющих признаков с помощью факторной приоритизации.............. 394
Вычисление индексов чувствительности Морриса ............................................ 395
Анализирование элементарных эффектов........................................................... 398
Квантифицирование неопределенности и стоимостной чувствительности
с помощью фиксирования факторов ........................................................................... 401
Генерирование и предсказывание на образцах Сальтелли ................................ 402
Выполнение анализа чувствительности по методу Соболя............................... 403
Встраивание реалистичной функции стоимости ................................................ 405
Миссия выполнена ........................................................................................................ 409
Резюме............................................................................................................................ 410
Источники данных и изображений.............................................................................. 411
Справочные материалы ................................................................................................ 411

ЧАСТЬ III. НАСТРОЙКА НА ИНТЕРПРЕТИРУЕМОСТЬ .............................................. 413

Глава 10. Отбор и конструирование признаков для обеспечения
интерпретируемости................................................................................................... 415

Технические требования .............................................................................................. 416

Оглавление 11

Миссия ........................................................................................................................... 416
Подход............................................................................................................................ 417
Подготовительные работы ........................................................................................... 418

Загрузка библиотек ................................................................................................ 418
Изучение проблемы и подготовка данных .......................................................... 419
Изучение эффекта нерелевантных признаков ............................................................ 420
Построение базовой модели ................................................................................. 421
Оценивание модели ............................................................................................... 422
Обучение базовой модели на разных максимальных глубинах ........................ 425
Обзор фильтрационных методов отбора признаков .................................................. 427
Базовые фильтрационные методы........................................................................ 428
Корреляционные фильтрационные методы ........................................................ 430
Ранжирующие фильтрационные методы............................................................. 432
Сравнение фильтрационных методов .................................................................. 434
Анализ встроенных методов отбора признаков ......................................................... 435
Раскрытие потенциала оберточных, гибридных и продвинутых методов
отбора признаков .......................................................................................................... 439
Оберточные методы............................................................................................... 439
Гибридные методы ................................................................................................ 441
Продвинутые методы ............................................................................................ 443
Оценивание всех моделей, построенных с применением отбора
признаков................................................................................................................ 445
Обзор конструирования признаков ............................................................................. 447
Миссия выполнена ........................................................................................................ 455
Резюме............................................................................................................................ 457
Источники наборов данных ......................................................................................... 457
Справочные материалы ................................................................................................ 457

Глава 11. Ослабление систематического смещения
и причинно-следственный вывод ............................................................................ 459

Технические требования .............................................................................................. 460
Миссия ........................................................................................................................... 460
Подход............................................................................................................................ 461
Подготовительные работы ........................................................................................... 462

Загрузка библиотек ................................................................................................ 462
Изучение проблемы и подготовка данных .......................................................... 463
Обнаружение систематического смещения................................................................ 467
Визуализирование систематического смещения набора данных ...................... 469
Квантифицирование систематического смещения набора данных................... 472
Квантифицирование систематического смещения модели................................ 476
Ослабление систематического смещения ................................................................... 479
Методы ослабления систематического смещения стадии
предварительной обработки ................................................................................. 480

12 Оглавление

Методы ослабления систематического смещения стадии
промежуточной обработки.................................................................................... 487
Методы ослабления систематического смещения стадии
последующей обработки ....................................................................................... 490
Окончательная сборка ........................................................................................... 493
Построение причинно-следственной модели............................................................. 495
Изучение результатов эксперимента ................................................................... 497
Изучение причинно-следственных моделей ....................................................... 500
Инициализация линейного дважды устойчивого ученика................................. 502
Обучение причинно-следственной модели ......................................................... 502
Гетерогенные эффекты экспериментальной процедуры........................................... 503
Выбор политики..................................................................................................... 507
Проверка устойчивости оценки ................................................................................... 510
Добавление случайной общей причины .............................................................. 510
Замена экспериментальной процедуры случайной переменной ....................... 511
Миссия выполнена ........................................................................................................ 512
Резюме............................................................................................................................ 513
Источник набора данных.............................................................................................. 513
Справочные материалы ................................................................................................ 513

Глава 12. Монотонные ограничения и настройка моделей
на интерпретируемость.............................................................................................. 515

Технические требования .............................................................................................. 516
Миссия ........................................................................................................................... 516
Подход............................................................................................................................ 518
Подготовительные работы ........................................................................................... 518

Загрузка библиотек ................................................................................................ 519
Изучение проблемы и подготовка данных .......................................................... 519
Установка ограничений с помощью конструирования признаков........................... 522
Упорядочение......................................................................................................... 523
Дискретизация........................................................................................................ 525
Члены взаимодействия и нелинейные преобразования ..................................... 526
Категориальное кодирование ............................................................................... 530
Другие подготовительные работы........................................................................ 531
Настройка моделей на интерпретируемость .............................................................. 532
Настройка нейронной сети Keras ......................................................................... 533
Настройка других популярных модельных классов........................................... 536
Оптимизация под объективность с помощью байесовой
гиперпараметрической настройки и прикладных метрик.................................. 544
Имплементирование модельных ограничений........................................................... 550
Ограничения в XGBoost ........................................................................................ 551
Ограничения в TensorFlow Lattice........................................................................ 556
Миссия выполнена ........................................................................................................ 563

Оглавление 13

Резюме............................................................................................................................ 564
Источник набора данных.............................................................................................. 565
Справочные материалы ................................................................................................ 565

Глава 13. Устойчивость к антагонизму .................................................................. 566

Технические требования .............................................................................................. 567
Миссия ........................................................................................................................... 567
Подход............................................................................................................................ 569
Подготовительные работы ........................................................................................... 569

Загрузка библиотек ................................................................................................ 569
Изучение проблемы и подготовка данных .......................................................... 570
Загрузка базовой модели CNN ............................................................................. 573
Диагностика базового классификатора CNN ...................................................... 575
Эвазивные атаки............................................................................................................ 576
Атака быстрым методом на основе знака градиента.......................................... 578
Атака методом инфинитной нормы Карлини и Вагнера ................................... 581
Целенаправленная атака методом антагонистических заплат........................... 583
Защита от целенаправленных атак с помощью предобработки ............................... 585
Защита от любой эвазивной атаки с помощью антагонистического
обучения устойчивого классификатора ...................................................................... 590
Оценивание и сертифицирование устойчивости к антагонизму .............................. 595
Сравнение устойчивости модели с силой атаки ................................................. 595
Сертифицирование устойчивости с помощью рандомизированного
сглаживания............................................................................................................ 597
Миссия выполнена ........................................................................................................ 604
Резюме............................................................................................................................ 605
Источники наборов данных ......................................................................................... 605
Справочные материалы ................................................................................................ 606

Глава 14. Интерпретируемость машинного обучения: что дальше?................ 607

Современное состояние интерпретируемости машинного обучения ...................... 607
Связываем всё воедино! ........................................................................................ 607

Текущие тренды ............................................................................................................ 612
Размышления о будущем интерпретируемости машинного обучения.................... 614

Новое видение машинного обучения................................................................... 615
Междисциплинарный подход............................................................................... 616
Соответствующая требованиям стандартизация ................................................ 616
Исполнение регуляторных предписаний............................................................. 616
Бесшовная автоматизация машинного обучения со встроенной
интерпретацией ...................................................................................................... 617
Более тесная интеграция с инженерами MLOps ................................................. 617
Справочные материалы ................................................................................................ 618

Предметный указатель .............................................................................................. 619

14 Оглавление

Об авторе

Серг Масис (Serg Masís) в течение последних двух десятилетий трудится на стыке
веб-разработки, разработки приложений и аналитики. В настоящее время он явля-
ется специалистом по климатическим и агрономическим данным в Syngenta, веду-
щей агробизнес-компании с миссией по улучшению глобальной продовольствен-
ной безопасности. До этого стал одним из основателей стартапа, созданного
Harvard Innovation Labs, который объединил возможности облачных вычислений и
машинного обучения с принципами из науки принятия решений, чтобы знакомить
пользователей с новыми местами и событиями. Независимо от того, к чему это от-
носится: к досугу, болезням растений или пожизненной ценности клиента, — Серг
увлечен нахождением часто недостающих связей между данными и процессом
принятия решений, и интерпретация результатов работы моделей машинного обу-
чения эффективно помогает преодолевать этот разрыв.

16 Часть I.

О рецензентах

Шайлендра Кадре (Shailendra Kadre) — опытный специалист в области машинно-
го и глубокого обучения, разработки продуктов и цифровой трансформации с более
чем 20-летним отраслевым опытом работы в глобальных компаниях по производ-
ству ИТ-продуктов и услуг. В настоящее время Шайлендра является признанным
лидером по аналитике продуктов в HP Inc., Бангалор. Он активно работает совет-
ником университетов и корпораций по искусственному интеллекту (ИИ). Является
автором двух книг по искусственному интеллекту, опубликованных в издательстве
Springer и McGrow-Hill, США. Он — профессиональный фотограф. Занимал лиди-
рующие позиции в области машинного обучения, аналитики продуктов и цифровой
трансформации в HP Inc., Citi Group/Oracle, Satyam и TCS. Шейлендра Кадре имеет
степень магистра в области инженерного дела в Индийском технологическом ин-
ституте (Indian Institute of Technology, IIT), Дели.
Джеймс Ле (James Le) является поборником данных для Superb AI, компании, под-
держиваемой венчурным фондом Y Combinator, которая ощутимо улучшает рабо-
чие потоки производства ИИ с помощью платформы управления данными, служа-
щей для повышения квалификации. До этого он получил степень магистра в области
теории и практики вычислительных систем и машин в RIT, проводя исследования
на стыке глубокого обучения и рекомендательных систем.
Мухаммад Рехман Зафар (Muhammad Rehman Zafar) является кандидатом наук в
Университете Райерсона (Ryerson University), Торонто, Канада, и связан с Лабора-
торией мультимедийных исследований Райерсона (Ryerson Multimedia Research
Laboratory, RML). Его исследование сосредоточено на дизайне и разработке интер-
претируемых моделей путем комбинирования интерактивных визуализаций и под-
ходов к машинному обучению, которые помогают конечным пользователям пони-
мать решения, принимаемые сложными моделями. Рехман также является членом
команды Aggregate Intellect в Торонто в качестве владельца потока обеспечения
интерпретируемости машинного обучения.
Али Эль-Шариф (Ali El-Sharif) живет в Виндзоре, Онтарио, Канада, со своей же-
ной, тремя детьми, матерью и кошкой. Являясь кандидатом наук Юго-Восточного
университета Новы (Nova Southeastern University), Али проводит исследования в
области интерпретации машинного обучения. Он также является частью команды
Aggregate Intellect в Торонто и возглавляет отдел обеспечения интерпретируемости
машинного обучения. Али имеет степень бакалавра в области вычислительного

18 О рецензентах

машиностроения и степень магистра Университета штата Райт (Wright State
University) в Дейтоне, штат Огайо. Он также имеет степень магистра в области ин-
формационной безопасности Юго-Восточного университета Нова. В настоящее
время Али преподает аналитику данных и информационную безопасность в рамках
Школы бизнеса и ИТ Зекельмана (Zekelman School of Business & IT) в колледже
Сент-Клер (St. Clair College) в Виндзоре, Онтарио, Канада.

Федерико Риверолл (Federico Riveroll) является экспертом в области машинного
обучения и науки о данных. Он соучредитель OpenBlender.io и имеет 11-летний
опыт работы с такими международными компаниями, как AB InBev. Федерико
также работал со стартапами и сотрудничал с университетами над различными
проектами ИИ.

Предисловие

Из названия данной книги смело можно сделать вывод о том, что она посвящена
трем вещам: интерпретации, машинному обучению и языку программирования
Python. И их следует перечислять именно в таком порядке важности!
— Почему? — возможно, спросите вы.
Интерпретируемое машинное обучение, также именуемое объяснимым искусс-
ственным интеллектом (ИИ — explainable AI, XAI), — это постоянно растущее
семейство методов, которые можно задействовать для усвоения полезной инфор-
мации из моделей и для того, чтобы делать их безопасными, объективными и на-
дежными, чего, я надеюсь, мы все хотим для наших моделей.
Однако, поскольку ИИ заменяет собой программно-информационное обеспечение
(и людей), модели машинного обучения рассматриваются как более "интеллекту-
альная" его форма. Да, это единицы и нули, но они не являются программно-
информационным обеспечением в том смысле, что их логика запрограммирована
людьми и действует так, как задумано, по алгоритму. Значит, интерпретация связа-
на с тем, как можно находить в них и их неточностях смысл, а затем исправлять их
недостатки, в идеале до того, как они смогут причинить какой-либо вред. Следова-
тельно, интерпретация имеет решающее значение для надежности и этичности мо-
делей. Кроме того, довольно скоро мы даже не будем тренировать модели про-
граммно, а станем для этого использовать графические интерфейсы перетаскивания
мышью! Таким образом, хоть мы все и любим Python, интерпретация машинного
обучения является навыком, который выдержит испытание временем.
А пока для подготовки и проведения предварительного анализа данных и затем
обучения и внедрения моделей в производство по-прежнему требуется достаточ-
ный объем исходного кода, поэтому каждая глава этой книги включает подробные
примеры исходного кода на языке Python. Тем не менее эта книга не была предна-
значена для использования в качестве "кулинарного справочника"(cookbook) по
программированию, абстрагированного от области применения решений и пони-
мания оснований для их выбора. Напротив, цель этой книги прямо противоположна
указанной. Причина проста: чтобы интерпретируемое машинное обучение было
эффективным, вопрос "почему?" должен предшествовать вопросу "как?". В кон-
це концов, интерпретация является ответом на вопрос "почему".
По этой причине большинство глав начинаются с миссии ("почему"), за которым
следует подход ("как"). После этого цель состоит в выполнении миссии с использо-

20 Предисловие

ванием методов (еще больше "как"), преподносимых на протяжении всей главы, и
сосредоточением на интерпретации результатов (еще больше "почему"). Наконец, в
ней будут приведены практические идеи, которые были усвоены при выполнении
этой задачи.

Сама книга также хорошо структурирована. Изложение в ней переходит от основ к
более продвинутым темам. Все используемые инструменты с открытым исходным
кодом созданы самыми передовыми исследовательскими лабораториями, такими
как Microsoft, Google и IBM. Это очень обширная область исследований, бóльшая
часть которой еще даже не покинула лабораторию и не стала широко использовать-
ся. В этой книге у авторов не было намерения охватить абсолютно все сферы. На-
оборот, целевая задача состоит в том, чтобы представить ряд инструментов обеспе-
чения интерпретируемости с глубиной, достаточной для того, чтобы они стали по-
лезными для практиков и многих профессионалов, работающих в области
машинного обучения.

Часть I книги представляет собой руководство для начинающих по интерпрети-
руемости, охватывающее ее актуальность в бизнесе и выполняющее предваритель-
ный анализ ее ключевых аспектов и трудностей. Часть II проинформирует вас о
полной коллекции методов интерпетации и способах их применения в различных
вариантах использования, будь то для классификации или регрессии, для таблич-
ных данных, временны́ х рядов, изображений или текста. В части III вы познакоми-
тесь с настройкой моделей и тренировочных данных на интерпретируемость путем
уменьшения сложности, ослабления систематического смещения, установления
ограничений и повышения надежности.

К концу этой книги вы будете использовать методы интерпретации, чтобы лучше
понимать модели машинного обучения и совершенствовать их через интерпрети-
руемость.

Для кого эта книга предназначена

Эта книга предназначена для следующих читателей:

 для новичков и студентов, изучающих науку о данных, обладающих основопо-
лагающими знаниями машинного обучения и языка программирования Python;

 для профессионалов по работе с данными, на которых возлагается все более
важная ответственность в объяснении хода работы систем ИИ, которые они раз-
рабатывают и чью работу они сопровождают технически;

 для инженеров по машинному обучению и исследователей данных, которые хо-
тят расширить свой набор навыков, включив в него новейшие методы интерпре-
тации и способы уменьшения систематических ошибок;

 для специалистов по этике ИИ, чтобы углубить свое понимание имплементаци-
онных сторон своей работы в целях более эффективного ориентирования этих
усилий;

Предисловие 21

 для менеджеров проектов ИИ и руководителей компаний, которые хотят вне-
дрить интерпретируемое машинное обучение в свои производственные процессы,
чтобы соответствовать принципам объективности, подотчетности и прозрачности.

Что эта книга охватывает

Глава 1 "Интерпретация, интерпретируемость и объяснимость: почему все это
важно?" вводит методику интерпретации машинного обучения и связанные с ней
понятия, такие как интерпретируемость, объяснимость, модели типа черного ящика
и прозрачность, предоставляя для этих терминов определения во избежание дву-
смысленности. Затем мы подведем фундамент под ценность интерпретируемости
машинного обучения для бизнеса.

В главе 2 "Ключевые понятия интерпретируемости" используется пример с пред-
сказанием сердечно-сосудистых заболеваний для введения двух фундаментальных
понятий (важности признаков и участков решений) и наиболее важных таксоно-
мий, используемых для классифицирования методов интерпретации. Мы также
подробно расскажем об элементах, препятствующих интерпретируемости машин-
ного обучения, в качестве введения в темы, которые будут изложены в дальнейшем.

В главе 3 "Трудности интерпретации" рассматриваются традиционные методы,
используемые для интерпретации машинного обучения как для регрессии, так и для
классификации, в контексте задачи о предсказании задержки авиарейса. Затем мы
рассмотрим ограничения этих традиционных методов и дадим объяснение тому,
что делает модели белого ящика имманентно интерпретируемыми и почему мы не
всегда можем использовать модели белого ящика. В целях ответа на эти вопросы
мы рассмотрим, как достичь компромисса между предсказательной результативно-
стью и модельной интерпретируемостью. Наконец, мы раскроем несколько новых
прозрачных, так называемых аквариумных, моделей, которые не пытаются идти на
уступки в этом компромиссе.

В главе 4 "Основы важности признаков и их влияние" задействуется пример клас-
сифицирования очередности рождения с целью обсуждения разных методов опре-
деления важности признаков, таких, которые задействуют внутренние параметры
модели, и более надежный модельно-агностический метод, именуемый перестано-
вочной важностью признаков. Затем, чтобы донести до читателя маргинальное
влияние одного признака на предсказание, мы изучим вопрос визуализирования и
интерпретирования графиков частичной зависимости (PDP) и графиков инди-
видуальных условных ожиданий (ICE).

Глава 5 "Модельно-агностические методы глобальной интерпретации" проводит
тщательное исследование аддитивных объяснений Шепли (SHAP), основанных
на теории игр, с помощью регрессионных моделей топливной эффективности, а
затем визуализирует графики условного маргинального распределения накоплен-
ных локальных эффектов (ALE). Наконец, мы коснемся глобальных суррогат-
ных моделей, которые при правильном выборе бывают очень точными и эффек-
тивными инструментами интерпретации.

22 Предисловие

Глава 6 "Модельно-агностические методы локальной интерпретации" охватывает
методы локальной интерпретации, объясняющие одно предсказание или их группу.
С этой целью в указанной главе рассматривается принцип использования SHAP и
локально интерпретируемых модельно-агностических объяснений (LIME) для
локальных интерпретаций посредством примера с назначением рейтинга шоколад-
ным плиткам как с табличными, так и с текстовыми данными.

Глава 7 "Якорные и контрфактические объяснения" продолжится локальными мо-
дельными интерпретациями, но только для классификационных задач. Мы вос-
пользуемся примером с предсказанием риска рецидивизма, чтобы понять, каким
образом можно объяснять необъективные предсказания в пригодном для интерпре-
тации человеком ключе. В этой главе рассматриваются якоря, контрфакты и ме-
тод контрастивного объяснения (CEM), а также инструмент What-If Tool (WIT).

В главе 8 "Визуализация сверточных нейронных сетей" рассматриваются методы
интерпретации, которые работают исключительно с моделями на основе сверточ-
ных нейронных сетей (CNN), на примере модели — классификаторе фруктов. Ра-
зобравшись в том, как CNN учится с помощью активаций, мы изучим несколько
градиентных методов атрибуции, таких как карты значимости, Grad-CAM и ин-
тегрированные градиенты для отлаживания атрибуции классов. Наконец, мы
расширим наше понимание отладки атрибуций с помощью пертурбационных мето-
дов атрибуций, таких как окклюзивная чувствительность, LIME и CEM.

В главе 9 "Методы интерпретации для многопеременного прогнозирования и ана-
лиза чувствительности" представлена задача о прогнозировании автомобильного
трафика и создания модели на основе долгой кратковременной памяти (LSTM) с
целью изучения принципа использования интегрированных градиентов и SHAP
для этой задачи. В данной главе показано, каким образом прогнозирование и неоп-
ределенность внутренне связаны, а также осуждается анализ чувствительности —
семейство методов, предназначенных для измерения неопределенности результата
на выходе из модели относительно ее данных на входе. Мы изучим два таких мето-
да: метод Морриса для факторной приоретизации и метод Соболя для факторной
фиксации.

В главе 10 "Отбор и конструирование признаков для обеспечения интерпретируе-
мости" рассматривается сложная задача об оптимизации рассылки почты некомер-
чекой организации для анализа методов фильтрационного отбора признаков, таких
как корреляция Спирмена, и вводятся встраиваемые методы, такие как LASSO.
Вы откроете для себя оберточные методы, такие как последовательная селекция
признаков и гибридные методы, такие как рекурсивное устранение признаков, а
также более продвинутые, такие как генетические алгоритмы. Наконец, даже не-
смотря на то, что конструирование признаков обычно проводится до их отбора, по
многим причинам существует своя ценность в проведении предварительного ана-
лиза методики конструирования признаков.

В главе 11 "Ослабление систематического смещения и причинно-следственный вы-
вод" рассматривается задача об уплате задолженности по кредитной карте, чтобы

Предисловие 23

продемонстрировать использование метрик объективности и визуализаций для об-
наружения нежелательной систематической ошибки. Далее в данной главе рас-
сматривается тема его уменьшения посредством методов предобработки, таких
как перевесовка, и методов промежуточной обработки, таких как устранение раз-
розненных воздействий, и методов постобработки, таких как уравненные шансы.
Затем мы тестируем процедуры для снижения вероятности дефолта по кредитным
картам и используем причинно-следственное моделирование для определения их
средних эффектов экспериментальных процедур (ATE) и условных средних
эффектов экспериментальных процедур (CATE). Наконец, мы проверяем при-
чинно-следственные допущения и устойчивость оценок.

Глава 12 "Монотонные ограничения и настройка моделей на интерпретируе-
мость" продолжается задачей о предсказании риска рецидивизма из главы 7. Мы
узнаем, как размещать ограничения при конструировании признаков на стороне
данных и монотонные и интеракционные ограничения на стороне модели для
обеспечения объективности, а также узнаем о том, как выполнять настройку моде-
ли, когда существует несколько целевых задач.

В главе 13 "Устойчивость к антагонизму" рассматривается задача об обнаруже-
нии, надета ли у человека одноразовая медицинская маска, чтобы охватить сквоз-
ное антагонистическое решение. Антагонист может мешать модели намеренно
многими способами, но мы фокусируемся на эвазивных атаках, таких как инфи-
нитная норма Карлини и Вагнера и антагонистические заплаты, и даем краткое
объяснение других форм атак. Мы поясняем два защитных метода: пространст-
венно-сглаживающую предобработку и антагонистическое обучение. Наконец,
мы демонстрируем один метод оценивания устойчивости и один метод сертифи-
кации.

В главе 14 "Интерпретируемость машинного обучения: что дальше?" обобщается
все то, что было изучено в контексте экосистемы методов интерпретации машинно-
го обучения, а затем высказываются мысли в отношении того, что будет дальше!

Как получить максимальную отдачу от этой книги

Вам понадобится среда Jupyter Notebook с языком Python 3.6+. Можно выполнить
одно из следующих действий:

 инсталлировать ее на свой компьютер локально через Anaconda Navigator либо
с нуля с помощью пакетного менеджера pip;

 использовать интерактивные облачные среды, такие как Google Colaboratory,
Kaggle, Azure или Amazon Sagemaker.

Рекомендации о том, как начинать работу, соответственно будут отличаться, по-
этому мы настоятельно рекомендуем вам поискать в Интернете последние инст-
рукции по их настройке.

24 Предисловие

Для получения инструкций по установке многих используемых в книге пакетов пе-
рейдите в репозиторий Git, в котором обновленные инструкции будут находиться в
файлах readme. Мы ожидаем, что они будут время от времени меняться, учитывая,
как часто меняются сами пакеты. Мы также протестировали исходный код с ука-
занными в книге версиями, подробно описанными в файле readme, поэтому, если
что-то не удастся с более поздними версиями, то убедительно просим вас вместо
этого инсталлировать указанную версию.

Отдельные главы начинаются с инструкций по установке пакетов в таком виде:

!pip install --upgrade nltk lightgbm lime

Но в зависимости от того, как была настроена среда приложения Jupyter Notebook,
установку пакетов лучше всего выполнять через командную строку либо с помо-
щью среды conda, поэтому мы предлагаем вам адаптировать эти инструкции по
инсталляции в соответствии с вашими потребностями.

Если вы используете цифровую версию этой книги, то мы советуем вам наби-
рать исходный код самостоятельно либо обращаться к нему через репозиторий
GitHub (ссылка приводится в следующем разделе). Это поможет вам избегать
любых потенциальных ошибок, связанных с копированием и вставкой исход-
ного кода.

Если вы не знакомы с машинным обучением либо являетесь новичком, советуем
читать книгу последовательно, поскольку многие концепции подробно описаны
только в предыдущих главах. Более продвинутым специалистам машинного обуче-
ния, не знакомым с интерпретируемостью, рекомендуем бегло ознакомиться с пер-
выми тремя главами, чтобы получить базовое представление о контексте и усвоить
понятия, необходимые для понимания всего остального, но следующие главы чи-
тать по порядку. Специалисты высокого уровня, которые уже разбираются в интер-
претируемости, могут читать книгу в любом порядке.

Что касается исходного кода, то книгу можно читать, не выполняя исходный код
одновременно или строго по теории. Но если же вы планируете его выполнять,
лучше всего делать это с помощью книги в качестве руководящей помощи в интер-
претации результатов и укреплении вашего понимания теории.

Во время чтения думайте о том, как можно было бы использовать усвоенные инст-
рументы, и к концу книги, будем надеяться, вы воодушевитесь на применение этих
только что полученных знаний на практике!

Загрузка файлов с исходным кодом

Скачать файлы с образцами исходного кода этой книги можно из репозитория кни-
ги на GitHub по адресу https://github.com/PacktPublishing/Interpretable-Machine-
Learningwith-Python/. В случае появления какого-либо обновления исходного
кода он будет обновляться в существующем репозитории GitHub. Там же в файле
README.MD вы также сможете найти список требований к оборудованию и про-
граммному обеспечению.

Предисловие 25

Загрузка цветных изображений

Мы также предоставляем PDF-файл с цветными изображениями снимков экра-
на/диаграмм, используемых в этой книге. Его можно скачать отсюда:
https://static.packt-cdn.com/downloads/9781800203907_ColorImages.pdf1.

Используемые условные обозначения

В этой книге используется ряд текстовых обозначений.

Исходный код в тексте указывает кодовые слова в тексте, имена таблиц базы данных,
вводимые пользователем данные и дескрипторы Twitter. Вот пример: "Далее можно
натренировать модель антагонистически, сначала инициализировав новый библио-
течный класс KerasClassifier устойчивой моделью (robust_model).

Блок исходного кода оформляется следующим образом:

base_classifier = KerasClassifier(model=base_model, clip_values=(min_, max_))
y_test_mdsample_prob = np.max(y_test_prob[sampl_md_idxs], axis=1)
y_test_smsample_prob = np.max(y_test_prob[sampl_sm_idxs], axis=1)

Если мы хотим обратить ваше внимание на конкретную часть блока исходного ко-
да, то соответствующие строки или элементы выделяются жирным шрифтом.:

robust_classifier = KerasClassifier(model=robust_model, clip_values=(min_, max_))
attacks = BasicIterativeMethod(robust_classifier, eps=0.3,\

eps_step=0.01, max_iter=20)
trainer = AdversarialTrainer(robust_classifier, attacks, ratio=0.5)
trainer.fit(X_train, ohe.transform(y_train), nb_epochs=30, batch_size=128)

Любой ввод или вывод из командной строки записывается следующим образом:

$ mkdir css
cd $ css

Жирный шрифт обозначает новый термин, важное слово или слова, которые вы
видите на экране, интернет-ссылки или названия элементов интерфейса программ.
Например, слова в меню или диалоговых окнах показываются в тексте следующим
образом. Вот пример: "На панели администрирования выберите пункт System Info
(Системная информация)".

СОВЕТЫ ИЛИ ВАЖНЫЕ ПРИМЕЧАНИЯ

Выглядят вот так.

1 Для читателей книги подготовлен адаптированный файл иллюстраций по адресу:
https://zip.bhv.ru/9785977517355.zip. — Прим. ред.

26 Предисловие

Часть I

Введение в интерпретацию
машинного обучения

В этой части вы узнаете, как важна интерпретируемость в бизнесе, и поймете ее
ключевые аспекты и трудности.
Эта часть включает следующие главы.
 Глава 1. Интерпретация, интерпретируемость и объяснимость: почему все это

важно?
 Глава 2. Ключевые понятия интерпретируемости.
 Глава 3. Трудности интерпретации.



1 Интерпретация,

интерпретируемость
и объяснимость:
почему всё это важно?

Мы живем в мире, правила и процедуры которого регулируются данными и алго-
ритмами.
Например, существуют правила разрешения на предоставление кредита или осво-
бождения под залог, правила цензуры сообщений в социальных сетях. Существуют
также процедуры, позволяющие определять, какая маркетинговая тактика является
наиболее эффективной и какие рентгеновские снимки грудной клетки могут дока-
зывать наличие пневмонии.
Вы этого ожидаете, потому что в этом нет ничего нового!
Еще совсем недавно подобные правила и процедуры было принято формализиро-
вать в программах, учебниках и на бумажных бланках, хотя последнее слово при
принятии решения оставалось за людьми. Зачастую это решение полностью зависе-
ло от людей, потому что правила и процедуры были жесткими и, следовательно, не
всегда применимыми. Всегда были исключения, поэтому для их принятия требо-
вался человек.
Например, если вы подадите заявку на ипотеку, ее одобрение будет зависеть от
приемлемой и достаточно длительной кредитной истории. Эти данные позволят
рассчитать кредитный балл с использованием алгоритма начисления баллов. В
свою очередь, у банка есть правила, определяющие величину балла, который явля-
ется достаточным для желаемой вами ипотеки. Ваш кредитный инспектор может
дать ей ход или же отклонить ее.
В наши дни финансовые учреждения тренируют нейросетевые модели на тысячах
ипотечных результатов с десятками переменных. Эти модели можно использовать
для определения вероятной возможности дефолта по ипотеке с допускаемой высо-
кой точностью. Если есть кредитный инспектор, который визирует одобрение или
отказ, то это уже не просто руководящий принцип, а алгоритмическое решение.
Разве оно может быть неверным? А правильным?
Стоит попридержать эту мысль, потому что на протяжении всей книги мы будем
изучать ответы на эти и многие другие вопросы!

30 Часть I. Введение в интерпретацию машинного обучения

Интерпретировать решения, принимаемые моделью машинного обучения, значит
отыскивать в решении смысл, но, кроме того, можно прослеживать его источник и
процесс, который его преобразовал. В этой главе рассматриваются интерпретация
машинного обучения и связанные с ней понятия, такие как интерпретируемость,
объяснимость, модели типа черного ящика и прозрачность. Данная глава предос-
тавляет определения этих терминов, чтобы можно было избежать двусмысленно-
сти, и подкрепляет их объяснением ценности интерпретируемости машинного обу-
чения. Вот главные темы, которые мы собираемся осветить:

 что такое интерпретация машинного обучения;

 понимание разницы между интерпретацией и объяснимостью;

 бизнес-аспекты интерпретируемости.

Давайте начнем!

Технические требования

В целях сверки с примерами по ходу чтения этой главы вам понадобится язык
Python 3, работающий в среде Jupyter Notebook либо в вашей любимой интегриро-
ванной среде разработки (integrated development environment, IDE), такой как
PyCharm, Atom, VSCode, PyDev или Idle. Для запуска примеров также потребуются
установленные Python-библиотеки requests, BS4, pandas, sklearn, matplotlib и scipy.
Исходный код этой главы находится по адресу: https://github.com/PacktPublishing/
Interpretable-Machine-Learning-with-Python/tree/master/Chapter01.

Что такое интерпретация машинного обучения?

Интерпретировать что-то — значит объяснять его смысл. В контексте машинного
обучения это "что-то" является алгоритмом. Если конкретнее, то это математиче-
ский алгоритм, который принимает данные на входе и выдает данные на выходе,
как и в любой формуле.

Давайте рассмотрим самую базовую из моделей — простую линейную регрессию,
модель которой проиллюстрирована в следующем уравнении:

yˆ  0  1x1 .

После аппроксимации данных этой моделью ее смысл заключается в том, что пред-
сказания yˆ представляют собой взвешенную сумму признаков x с коэффициента-
ми  . В данном случае существует только один признак x , или предсказательная
переменная, а переменная yˆ обычно называется откликом, или целевой перемен-
ной. Простая линейно-регрессионная модель объясняет преобразование, которое
выполняется на данных x1 на входе для порождения результата yˆ на выходе. Сле-
дующий ниже пример может проиллюстрировать эту концепцию подробнее.

Глава 1. Интерпретация, интерпретируемость и объяснимость: почему всё это важно? 31

Изучение простой модели предсказания веса

Если вы зайдете на веб-страницу, поддерживаемую Калифорнийским университетом,
http://wiki.stat.ucla.edu/socr/index.php/SOCR_Data_Dinov_020108_HeightsWeights,
то сможете найти ссылку на скачивание набора данных из 25 000 синтетических
записей о весе и росте 18-летних юношей и девушек. Мы не будем использовать
весь набор данных целиком, а возьмем только образцовую таблицу на самой веб-
странице с 200 записями. Мы извлекаем эту таблицу с веб-страницы и выполняем
подгонку линейно-регрессионной модели под эти данные. В указанной модели рост
используется для предсказания веса индивида.

Другими словами, x1 — рост, а yˆ — вес (вернее, масса тела), поэтому формула ли-
нейно-регрессионной модели будет следующей:

вес  0  1  рост .

Исходный код этого примера находится по адресу:
https://github.com/PacktPublishing/Interpretable-Machine-Learning-with-Python/
blob/master/Chapter01/WeightPrediction.ipynb.
В целях выполнения этого примера вам необходимо установить следующие биб-
лиотеки:

 requests для получения запроса содержания веб-страницы;

 bs4 (Beautiful Soup) для парсинга таблицы с веб-страницы;

 pandas для загрузки таблицы в кадр данных;

 sklearn (scikit-learn) для подгонки линейно-регрессионной модели и расчета ее
ошибки;

 matplotlib для визуализации модели;

 scipy для проверки корреляции.
Сначала необходимо импортировать все библиотеки следующим образом:

import math

import requests

from bs4 import BeautifulSoup

import pandas as pd

from sklearn import linear_model

from sklearn.metrics import mean_absolute_error

import matplotlib.pyplot as plt

from scipy.stats import pearsonr

Библиотека requests используется для получения содержимого веб-страницы сле-
дующим образом:

url = \

'http://wiki.stat.ucla.edu/socr/index.php/SOCR_Data_Dinov_020108_HeightsWeights'
page = requests.get(url)

32 Часть I. Введение в интерпретацию машинного обучения

Затем надо взять это содержимое и извлечь только таблицу с помощью библиотеки
BeautifulSoup следующим образом:

soup = BeautifulSoup(page.content, 'html.parser')

tbl = soup.find("table",{"class":"wikitable"})

Библиотека pandas может превратить содержимое таблицы из исходного источника
на языке гипертекстовой разметки (HyperText Markup Language, HTML) в кадр
данных, как показано ниже:

height_weight_df = pd.read_html(str(tbl))[0][['Height(Inches)', 'Weight(Pounds)']]

И вуаля! Теперь у нас есть кадр данных с ростом в дюймах (Heights(Inches)) в од-
ном столбце и весом в фунтах (Weights(Pounds)) в другом. В качестве проверки ис-
правности можно подсчитать число записей. Оно должно равняться 200. Исходный
код показан ниже:

num_records = height_weight_df.shape[0]

print(num_records)

Теперь, когда мы подтвердили, что у нас есть данные, необходимо преобразовать
их так, чтобы они сочетались со спецификациями модели. Библиотека sklearn при-
нимает их как в NumPy-массиве размерностью (200, 1), поэтому для начала необхо-
димо извлечь числовые ряды Heights(Inches) и Weights(Pounds) из pandas. Следующий
шаг — превратить их в NumPy-массив и, наконец, преобразовать их размерность
для соответствия (200, 1). Следующий код выполняет все необходимые операции
преобразования:

x = height_weight_df['Height(Inches)'].values.reshape(num_records, 1)

y = height_weight_df['Weight(Pounds)'].values.reshape(num_records, 1)

Затем надо инициализировать линейно-регрессионную модель (LinearRegression)
библиотеки scikit-learn и выполнить ее подгонку под тренировочные данные:

model = linear_model.LinearRegression()

_ = model.fit(x,y)

Работая в библиотеке scikit-learn, для вывода на экран формулы линейно-
регрессионной модели необходимо извлечь коэффициент 0 вертикального сдвига
(т. е. y-координату точки пересечения линии регрессии с вертикальной осью систе-
мы координат) и коэффициент наклона линии 1 . Вот формула, которая объясняет,
как она делает предсказания:

print("ŷ =" + str(model.intercept_[0]) + " + " + str(model.coef_.T[0][0]) + " x₁ "

Результат:

ŷ = -106.02770644878132 + 3.432676129271629 x1

Он говорит о том, что в среднем на каждый дополнительный фунт приходится
3,4 дюйма роста.

Однако объяснение алгоритма работы модели — это всего лишь один из способов
объяснения данной линейно-регрессионной модели, и это только одна сторона ис-

Глава 1. Интерпретация, интерпретируемость и объяснимость: почему всё это важно? 33

тории. Модель не является идеальной, потому что фактические результаты, приве-
денные в таблице, и предсказанные моделью результаты для тренировочных дан-
ных не эквивалентны. Разница между ними называется ошибкой, или остатками.

Понимать ошибку в модели можно совершенно по-разному. К примеру, можно
применить функцию ошибки, такую как функция средней абсолютной ошибки
(mean_absolute_error), используемую для измерения отклонения по модулю между
предсказанными и фактическими значениями, как показано в следующем фрагмен-
те исходного кода:

y_pred = model.predict(x)

mae = mean_absolute_error(y, y_pred)

print(mae)

Результат:

7.7587373803882205

Средняя абсолютная ошибка 7,8 означает, что в среднем предсказание отстоит на
7,8 фунта от фактической величины, но эта величина ошибки, возможно, не будет
интуитивно понятной или в некоторых случаях даже не будет информативной. Ви-
зуализация линейно-регрессионной модели может пролить некоторый свет на то,
насколько эти предсказания точны на самом деле.

Это можно сделать с помощью точечной диаграммы библиотеки matplotlib и нало-
жения линейной модели (синим цветом) и средней абсолютной ошибки (в виде
двух параллельных полос серым цветом):

plt.scatter(x, y, color='black')

plt.plot(x, y_pred, color='blue', linewidth=3)

plt.plot(x, y_pred + mae, color='lightgray')

plt.plot(x, y_pred - mae, color='lightgray')

plt.xlabel('Рост, дюймы')

plt.ylabel('Вес, фунты')

Если выполнить приведенный выше фрагмент кода, то на выходе будет получен
график, показанный на рис. 1.1.

Как следует из графика на рис. 1.1, во многих случаях фактические точки находятся
на расстоянии 20–25 фунтов от предсказания. Тем не менее средняя абсолютная
ошибка может вас дезинформировать, заставив думать, что ошибка всегда ближе к
8. Поэтому крайне важно выполнять визуализацию ошибки модели, чтобы пони-
мать ее распределение. По этому графику можно сказать, что в нашем распределе-
нии нет красных флажков, которые выделялись бы, например, как в случае боль-
шей разбросанности остатков для одного диапазона роста, чем для других. По-
скольку точки на графике распределены более-менее равномерно относительно
синей прямой, мы говорим, что распределение величины гомоскедастично. В слу-
чае линейной регрессии гомоскедастичность — одно из многих модельных допу-
щений, которые вы должны проверять наряду с линейностью, нормальностью, не-

34 Часть I. Введение в интерпретацию машинного обучения

зависимостью и отсутствием мультиколлинеарности (если есть более одного при-
знака). Эти допущения гарантируют, что вы используете модель, которая подходит
для выполняемой работы. Другими словами, рост и вес можно объяснить линей-
ной связью, и это объяснение будет неплохим с точки зрения статистики.

Рис. 1.1. Линейно-регрессионная модель предсказания веса на основе роста
С помощью этой модели мы пытаемся установить факт линейной связи между рос-
том и весом. Эта ассоциация называется линейной корреляцией. Измерить ее силу
можно с помощью коэффициента корреляции Пирсона. Указанный статистиче-
ский метод измеряет связь между двумя случайными величинами, используя их
ковариацию, деленную на их среднеквадратичные отклонения. Ковариация — это
число между 1 и 1, причем чем указанное число ближе к нулю, тем слабее связь
между величинами. Если это число является положительным, существует положи-
тельная связь, а если оно является отрицательным — отрицательная связь. В Python
коэффициент корреляции Пирсона можно вычислить с помощью функции pearsonr
из библиотеки scipy:

corr, pval = pearsonr(x[:,0], y[:,0])
print(corr)

Результат:

0.5568647346122992

Данное число является положительным, что неудивительно, т. к. по мере увеличе-
ния роста вес тоже имеет тенденцию к увеличению, но оно также ближе к 1, чем к
0, а значит, вес сильно коррелирован. Второе число, произведенное функцией
pearsonr, является p-значением, служащим для проверки некорреляции. Если про-
тестировать уровень ошибки на значение менее 5%, можно уверенно сказать, что
для этой корреляции существует достаточно оснований:

print(pval < 0.05)

Глава 1. Интерпретация, интерпретируемость и объяснимость: почему всё это важно? 35

Результат:

True

Понимание поведения модели и соответстующих обстоятельств ее поведения по-
могает нам объяснять, почему, собственно говоря, она делает определенные
предсказания, и когда она на них не способна. Давайте вообразим, что нас просят
объяснить, почему кто-то с ростом 71 дюйм должен весить 134 фунта, но вместо
этого весил на 18 фунтов больше. Судя по тому, что мы знаем о модели, это по-
грешность ошибки, т. к. существует целый ряд обстоятельств, при которых мы не
можем ожидать надежности от модели. Что делать, если нас попросят использовать
эту модель для предскания веса человека ростом 56 дюймов? Сможем ли мы обес-
печить такой же уровень точности? Определенно нет, потому что мы выполняем
подгонку модели под данные испытуемых не ниже 63 дюймов. То же самое было
бы, если бы нас попросили предсказать вес 9-летнего ребенка, потому что трениро-
вочные данные были предназначены для 18-летних.

Несмотря на приемлемые результаты, этот пример модели предсказания веса не
был реалистичным. Если вы хотите получать более точные результаты, но, что
важнее, достоверно прогнозировать влияние разных факторов на вес человека, вам
нужно будет добавить больше переменных. К примеру, можно добавить пол, воз-
раст, рацион и уровень физической активности. Вот где ситуация станет интерес-
ней, потому что необходимо обеспечить объективность их включения или не
включения. Например, если бы был включен пол, но большинство нашего набора
данных состояло бы из мужчин, то как бы вы смогли обеспечить точность для
женщин? Такая ситуация называется систематическим смещением вследствие
отбора данных. А что, если вес больше связан с образом жизни и такими обстоя-
тельствами, как бедность и беременность, нежели с полом? Если эти переменные не
включены, это называется систематическим смещением вследствие пропущен-
ных переменных. И тогда имеет ли вообще смысл включать чувствительную пе-
ременную пола с риском добавления в модель систематического смещения?

Если у вас есть несколько признаков, и вы их проверили на предмет объективности,
можно узнать и объяснить признаки, которые влияют на результативность моде-
ли. Мы называем эту процедуру определением важности признаков. Однако, по
мере добавления большего числа переменных, мы увеличиваем сложность модели.
Парадоксально, но эта проблема касается интерпретации, и мы рассмотрим ее под-
робнее в следующих главах. А пока ключевым выводом должно быть утверждение,
что интерпретация модели во многом связана с объяснением следующего:

1. Можно ли объяснить, что предсказания были сделаны объективно?

2. Можно ли надежно проследить предсказания назад до чего-то или кого-то?

3. Можно ли объяснить, как были сделаны предсказания? Можно ли объяснить ход
работы модели?

И в конечном счете вопрос, на который мы пытаемся ответить, звучит так: можно
мы доверять модели?

36 Часть I. Введение в интерпретацию машинного обучения

Три главных понятия интерпретируемого машинного обучения напрямую связаны
с тремя приведенными выше вопросами и имеют аббревиатуру FAT, что означает
fairness (объективность)1, accountability (подотчетность) и transparency (прозрач-
ность). Если можно объяснить, что предсказания были сделаны без заметного сис-
тематического смещения, тогда есть объективность. Если можно объяснить, поче-
му, собственно, модель делает определенные предсказания, тогда есть подотчет-
ность. И если можно объяснить, каким образом были сделаны предсказания и как
модель работает, тогда есть прозрачность. С этими понятиями связано много во-
просов, вызывающих этические соображения (рис. 1.2).

Рис. 1.2. Три главных понятия интерпретируемого машинного обучения
Некоторые исследователи и компании расширили показатель FAT, поместив его
под более широким зонтиком этического искусственного интеллекта (ИИ), тем
самым превратив FAT в FATE (где буква Е в аббревиатуре соответствует англий-
скому слову ethical). Этический ИИ является частью еще более широкого обсужде-
ния темы алгоритмического регулирования и регулирования на основе данных. Тем
не менее оба понятия очень сильно пересекаются, поскольку интерпретируемое
машинное обучение связано с тем, как в машинном обучении имплементируются
принципы FAT и этические вопросы. В этой книге мы будем обсуждать этику
именно в таком контексте. Например, глава 13 относится к надежности, безвредно-
сти и безопасности. В главе 11 обсуждается тема объективности.

1 Объективность (fairness), согласно Оксфордскому словарю английского языка, — это нейтральное
и равное обращение с кем-либо/чем-либо или поведение без фаворитизма или дискриминации.
В русском языке указанный термин может переводиться как "справедливость". В книге используется
первый вариант, поскольку слово "справедливость" относится к поведению людей, а книга посвящена
вычислительным моделям. К тому же термин justice, который тоже переводится как "справедливость",
вступает в коллизию и вносит путаницу. — Прим. перев.

Глава 1. Интерпретация, интерпретируемость и объяснимость: почему всё это важно? 37

Понимание разницы между интерпретируемостью
и объяснимостью

Читая первые несколько страниц этой книги, вы, вероятно, кое-что заметили, а
именно, что глаголы "интерпретировать" и "объяснять", а также существитель-
ные "интерпретация" и "объяснение" использовались взаимозаменяемо. Это не-
удивительно, учитывая, что интерпретировать — значит толковать, объяснять смысл
чего-то. Несмотря на это, родственные термины "интерпретируемость" и "объяс-
нимость" не следует использовать взаимозаменяемо, даже если их часто принима-
ют за синонимы.

Что такое интерпретируемость?

Интерпретируемость позволяет уяснить, насколько люди, включая экспертов, не
относящихся к обсуждаемому предмету, могут понимать причину и следствие, а
также данные на входе в модель машинного обучения и на выходе из нее. Сказать,
что модель обладает высоким уровнем интерпретируемости, означает, что можно
описать ее вывод в доступном для толкования человеком ключе. Другими словами,
почему данные на входе в модель дают определенный результат на выходе? Како-
вы требования и ограничения данных на выходе? Какими границами уверенности
обладают предсказания? Или почему одна переменная оказывает более существен-
ное влияние, чем другая? Говоря об интерпретируемости, следует учеть, что под-
робное описание хода работы модели имеет значение только в той степени, в кото-
рой она может объяснять свои предсказания и оправдывать свое применение.

В приведенном в этой главе примере вы могли бы заметить, что между ростом и
весом человека существует линейная связь, поэтому имеет смысл использовать ли-
нейно-регрессионную модель, а не нелинейную. Это можно доказать статистиче-
ски, потому что участвующие переменные не нарушают допущения линейной рег-
рессии. Даже когда статистика на нашей стороне, все равно следует учесть знания
из предметной области, связанной с вариантом использования. В данном конкрет-
ном случае наша уверенность опирается на биологию, потому что наши знания фи-
зиологии человека не противоречат взаимосвязи между ростом и весом.

Осторожно, сложность!

Многие модели машинного обучения изначально сложнее понимать просто из-за
математики, связанной с внутренним механизмом модели или конкретной архитек-
турой модели. В дополнение к этому выбирается много вариантов решений, кото-
рые могут увеличивать сложность и делать модели менее интерпретируемыми, от
выбора набора данных до селекции и конструирования признаков, до выбора вари-
антов обучения и настройки модели. Эта сложность делает задачу объяснения хода
ее работы чрезвычайно непростой. Интерпретируемость машинного обучения явля-
ется весьма активной областью исследований, поэтому по-прежнему существует
много споров о ее точном определении. Указанная полемика включает вопрос о
необходимости полной прозрачности, чтобы мы имели возможность квалифициро-

14 Интерпретируемость машинного

обучения: что дальше?

В предыдущих тринадцати главах мы проводили поиск области интерпретируемо-
сти машинного обучения. Как указано в предисловии, она представляет собой об-
ширную область исследований, бóльшая часть которых еще даже не покинула ла-
бораторию и не стала широко использоваться, и в этой книге мы не намерены охва-
тывать абсолютно все подобласти и методы. Вместо этого цель состоит в том,
чтобы подробно представить различные инструменты обеспечения интерпретируе-
мости так, чтобы они были полезны в качестве отправной точки для начинающих
и даже дополняли знания более продвинутых читателей. В этой главе мы обобщим
то, что мы узнали в контексте экосистемы методов обеспечения интерпретируемо-
сти машинного обучения, а затем поговорим о том, что будет дальше!
Вот главные темы, которые будут рассмотрены в этой главе:
 современное состояние интерпретируемости машинного бучения;
 размышления о будущем интерпретируемости машинного бучения.

Современное состояние интерпретируемости
машинного обучения

Прежде всего, мы предоставим некоторый контекст в отношении того, как эта кни-
га соотносится с главными целями интерпретируемости машинного обучения и как
практики могли бы начать применять методы для достижения этих широких целей.
Затем мы обсудим текущие точки роста исследований.

Связываем всё воедино!

Как обсуждалось в главе 1, когда речь идет об интерпретируемости машинного
обучения, имеются в виду три главные темы: объективность, подотчетность
и прозрачность (fairness, accountability, and transparency, FAT), и каждая из них
представляет собой ряд подтем (рис. 14.1). Думаю, каждый согласится, что все они
являются для модели желательными свойствами! И действительно, это касается
всех существующих возможностей для совершенствования систем искусственного
интеллекта (ИИ). Эти совершенствования начинаются с использования методов
модельной интерпретации для оценивания моделей, подтверждения или оспарива-
ния допущений и отыскания проблем.
Характер вашей цели будет зависеть от того, на какой стадии вы находитесь в ра-
бочем потоке машинного обучения. Если модель уже внедрена в производство, то

608 Часть III. Настройка на интерпретируемость

цель может состоять в том, чтобы оценить ее с помощью целого комплекта метрик,
но если модель всё еще находится на ранней стадии разработки, то целью может
быть отыскание более глубоких проблем, которые метрика не обнаружит. Возмож-
но, вы также просто используете модели типа черного ящика для обнаружения зна-
ний, как это делалось в главах 4–6; другими словами, задействуете модели для ус-
воения знаний из данных, не планируя использовать их в производстве. Если это
так, то можно подтвердить или оспорить допущения, которые у вас были относи-
тельно данных и, соответственно, модели.

В любом случае ни одна из этих целей не является взаимоисключающей, и вам, ве-
роятно, всегда следует искать проблемы и оспаривать допущения, даже если мо-
дель, по всей видимости, показывает хорошую результативность!

И независимо от цели и первостепенной задачи, использовать многочисленные ме-
тоды интерпретации рекомендуется не только потому, что ни один технический
прием не совершенен, но и потому, что все проблемы и цели взаимосвязаны. Дру-
гими словами, нет справедливости без выверенности и надежности — без прозрач-
ности. На самом деле, можно читать рис. 14.1 снизу вверх, как если бы это была
пирамида, потому что прозрачность лежит в основе всего, за ней на втором ярусе
следует подотчетность и в конечном счете — объективность в качестве вишенки на
торте. Поэтому, даже если цель состоит в том, чтобы оценить объективность модели,
модель должна быть подвергнута стресс-тестированию на устойчивость. Все важ-
ности признаков и взаимодействия должны быть хорошо поняты. В противном слу-
чае будет уже неважно, если предсказания не окажутся надежными и прозрачными.

На рис. 14.1 перечислен целый ряд методов интерпретации, и это далеко не все. На
нем указаны наиболее популярные методы, за которыми стоят хорошо поддержи-
ваемые библиотеки с открытым исходным кодом. В этой книге мы затронули
большинство из них, хотя некоторые лишь вкратце. Обойденные вниманием выде-
лены курсивом, а те, которые обсуждались, сопровождаются соответствующими
номерами глав рядом с ними. Особо рассмотрены модельно-агностические мето-
ды для моделей типа черного ящика контролируемого обучения. И тем не менее
за пределами этой области существует масса других методов интерпретации, таких
как методы обучения с подкреплением, генеративные модели или многочисленные
статистические методы, используемые строго для линейной регрессии. И даже в об-
ласти моделей типа черного ящика контролируемого обучения существуют сотни
прикладных методов модельной интерпретации, используемых в приложениях, на-
чиная от CNN-сетей химических графов и заканчивая преобразовательными сетями.

При этом многие из обсуждаемых в этой книге методов можно адаптировать для
широкого спектра применений. Интегрированные градиенты можно применять для
интерпретации аудиоклассификаторов, моделей гидрологического прогнозирова-
ния и естественно-языковых классификаторов настроений. Анализ чувствительно-
сти можно использовать в финансовом моделировании и моделях риска инфекци-
онных заболеваний. Методы на основе причинно-следственного вывода — для
улучшения пользовательского опыта и испытаний лекарственных препаратов.

Здесь слово "улучшить" является ключевым, потому что методы интерпретации
имеют обратную сторону!

Глава 14. Интерпретируемость машинного обучения: что дальше? 609

ОБЪЕКТИВНОСТЬ Признаки Методы интерпретации
ПОДОТЧЕТНОСТЬ Беспристрастность
ПРОЗРАЧНОСТЬ Справедливость  Классовый баланс
Разнородность
Инклюзивность  Сравнение метрик
(FPR, FNR)
Надежность
Определенность  Сравнение графиков
Безопасность (матрица путаницы, кривая ROC, кривая PR)
Безвредность
Устойчивость  Групповые метрики объективности / Индивидуальные метрики
Конфиденциальность объективности
(SPD, DI, AOD, EOD, DFBA, CDD)
Интерпретируемость
Объяснимость  Контурная карта/теплокарта вероятностей
Выверенность  Оценивания систематического смещения вследствие отбора
Правдоподобность
Ясность данных

 Вневыборочные оценивания

 Анализ чувствительности
(метод Соболя, метод Морриса, FAST)

 Методы причинно-следственного вывода
(DRL, DML, на основе леса, метаученики)

 Оценивания эвазивной устойчивости к антагонизму
(FSGM, PGD, C&W, антагонистические заплаты, граничный,
PDG, B&B, DeepFool, ...)

 Оценивания устойчивости к антагонизму на основе выведения
результата, извлечения и отравления

 Обнаружение/метрики аномалий
 Метрики конфиденциальности

 Методы определения важности признаков

(SHAP, перестановочные, модельно-агностические)
 Методы редукции размерности

(PCA, t-SNE, NAE, DIP-VAE)
 Аквариумные методы

(EMB, Skoped-Rules)
 Графики частичной зависимости и подобные им

(зависимости ICE, ALE, SHAP)

 Суррогаты типа белого ящика
(логистическая регрессия, линейная регрессия, модели на
основе правил, CART, KNN, ProfWeight)

 Подтверждение с помощью статистических тестов и корреляций

(Спирмана, точечно-двурядовое, Крамера, Z-тест)
 Локальная интерпретация

(участки решения, ICE, якоря, контрфакты, WIT, CEM, SHAP)
 Методы, специфичные для глубокого обучения

(IG, карты значимости, Grad-CAM, SmoothGrad, семантиче-
ская сегментация)
 Метрики объяснимости

Рис. 14.1. Методы интерпретации машинного обучения

610 Часть III. Настройка на интерпретируемость

ПОДХОД ДАННЫЕ МОДЕЛЬ ПРЕДСКАЗАНИЕ

ОБЪЕКТИВНОСТЬ Ослабление систе- Перевесовка/DIR Чувствительное к стоимости Калибровка/
матического сме- LFR / DIR / неосведом- уравнивание шансов
щения ленность усвоения
Регуляризация предрассуд- Классификация
ков/махинации с объективно- с выбраковкой
вариантов
стью

Установление Конструирование при- Монотонные ограничения Воздержание от
ограждений знаков предсказаний
Насыщение данных Антагонистическое устранение
Повышение надеж- систематического смещения Сертификация
модели на объек-
ности тивность

Сокращение слож- Отбор признаков Регуляризация
ности

ПОДОТЧЕТНОСТЬ Повышение на- Обнаружение дрифта Антагонистическое обучение Антагонистические
дежности Насыщение данных защиты на стадии
Преобразовательные защиты постобработки
от антагонизма Защиты с исполь-
зованием обнаруже-
Сертифицированная по устой- ния антагонизма
чивости к антагонизму обучение Предсказательные
и выведение результатов интервалы уверен-
ности

Сокращение слож- Отбор признаков Регуляризация
ности
Защиты от антагонизма
на стадии предобработ-

ки

Ослабление систе- Конструирование при- Монотонные ограничения Калибров-
матического смеще- знаков (+ интеракционные/ ка/уравнивание
ния двупеременные ограничения)
шансов

Обеспечение кон- Анонимизация данных Объединенное (федеративное) Выведение резуль-
фиденциальности Дифференцированная усвоение татов с сохранени-
конфиденциальность Антагонистические защиты ем конфиденциаль-
от атак на всеобъемлющее ности
выведение информации

ПРОЗРАЧНОСТЬ Сокращение слож- Отбор признаков Регуляризация
ности

Повышение надеж- Конструирование при- Монотонные ограничения Локальная интер-
претация
ности знаков

Рис. 14.2. Набор инструментов для решения задач с FAT

Глава 14. Интерпретируемость машинного обучения: что дальше? 611

В данной книге эта обратная сторона называлась настройкой на интерпретируе-
мость, что означает создание решений задач на основе принципа FAT. Эти решения
можно оценить на рис. 14.2.

Я наблюдал пять подходов к техническим решениям по обеспечению интерпрети-
руемости.

 Ослабление систематического смещения — любая коррекционная мера, при-
нятая для учета систематического смещения. Обратите внимание, что это сме-
щение относится к систематическим смещениям вследствие отбора, исключе-
ния, предвзятости и измерений данных, наряду с любыми другими смещениями,
вносимыми в рабочий поток машинного обучения.

 Размещение ограждений — любое техническое решение, которое гарантирует,
что модель не противоречит знаниям предметной области и не предсказывает
без уверенности.

 Повышение надежности — любая поправка, повышающая достоверность и вы-
веренность предсказаний, исключая те, которые делают это за счет уменьшения
сложности.

 Уменьшение сложности — любые средства, с помощью которых вводится раз-
реженность. В качестве побочного эффекта оно, как правило, повышает надеж-
ность за счет улучшенного обобщения.

 Обеспечение конфиденциальности — любые усилия по защите личных дан-
ных и модельной архитектуры от третьих сторон. В этой книге данный подход
не рассматривался.

Кроме того, эти подходы можно применять в отношении:

 данных ("предобработка") — путем модифицирования тренировочных дан-
ных;

 модели ("промежуточная обработка") — путем модифицирования модели, ее
параметров или тренировочной процедуры;

 предсказания ("постобработка") — путем вмешательства в процесс выведения
модельного результата.

Есть и четвертая область, которая может влиять на перечисленные три, а именно,
регулирование данными и алгоритмическое регулирование. Сюда входят правила
и стандарты, которые диктуют определенную методологию или рамки. Этот стол-
бец отсутствует, потому что очень немногие отрасли и юрисдикции имеют законы,
диктующие методы и подходы, которые следует применять для соблюдения требо-
ваний принципа FAT. Например, регулирование может возлагать стандарт для объ-
яснения алгоритмических решений, происхождения данных или порога сертифика-
ции устойчивости. Мы обсудим это подробнее в следующем разделе. На рис. 14.2
видно, что для FAT многие методы повторяются. Отбор и конструирование при-
знаков, монотонные ограничения и регуляризация приносят пользу всем трем
подходам, но не всегда используются в одном и том же подходе. Насыщение дан-
ных также может повышать надежность для объективности и подотчетности. Как

612 Часть III. Настройка на интерпретируемость

и на рис. 14.1, пункты, выделенные курсивом, не были освещены в этой книге, и из
них выделяются две темы: устойчивость к антагонизму и сохранение конфиден-
циальности — увлекательные темы, заслуживающие отдельной книги.

Текущие тренды

Одним из наиболее существенных сдерживающих факторов внедрения ИИ является
отсутствие интерпретируемости, что частично является причиной того, что 50–90%
проектов ИИ никогда не запускаются, а другая причина — этические нарушения,
которые происходят в результате несоблюдения принципа FAT. В этом аспекте ин-
терпретируемое машинное обучение (interpretable machine learning, iML) может
возглавить машинное обучение в целом, поскольку оно способно помочь в дости-
жении обеих целей с помощью соответствующих методов, приведенных на
рис. 14.1 и 14.2.

К счастью, мы наблюдаем рост интереса и производства в iML, в основном в рам-
ках объяснимого искусственного интеллекта (explainable artificial intelligence,
XAI), рис. 14.3. В научном сообществе интерпретируемое машинное обучение по-
прежнему остается самым популярным термином, но объяснимый искусственный
интеллект доминирует в публичной среде.

ОБЪЯСНИМЫЙ ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ПРОТИВ ИНТЕРПРЕТИРУЕМОГО
МАШИННОГО ОБУЧЕНИЯ: КАКУЮ ИЗ ЭТИХ ТЕХНОЛОГИЙ ИСПОЛЬЗОВАТЬ?

Мое мнение: хотя эти термины понимаются как синонимы, а интерпретируемое ма-
шинное обучение, скорее, рассматривается как академический, практикам машинного
обучения, даже тем, кто работает в отрасли, следует относиться к использованию
термина "объяснимый искусственный интеллект" с осторожностью. Слова могут обла-
дать огромной силой внушения. Слово "объяснимый" предполагает полное понима-
ние, но слово "интерпретируемый" оставляет место для ошибок, как и должно быть,
когда речь идет о моделях, и к тому же чрезвычайно сложных моделях типа черного
ящика. Кроме того, ИИ захватил общественное воображение как панацея либо был
объявлен опасным. В любом случае, наряду с термином "объяснимый", он служит для
того, чтобы сделать его еще более наполненным высокомерием для тех, кто думает,
что он — панацея, и, возможно, успокоить тех, кто считает, что он опасен. Объясни-
мый искусственный интеллект как маркетинговый термин, возможно, и служит опреде-
ленной цели. Однако для тех, кто строит модели, внушающая сила слова "объясни-
мый" может сделать нас слишком уверенными в наших интерпретациях. Но это всего
лишь мнение.

Это означает, что так же, как машинное обучение, которое начинает стандартизи-
роваться, регулироваться, консолидироваться и интегрироваться в целый ряд дру-
гих дисциплин, интерпретация тоже скоро получит свое место за столом.

Машинное обучение заменяет программно-информационное обеспечение во всех
отраслях промышленности. И по мере того, как всё больше областей автоматизиру-
ется, всё больше моделей развертывается в облаке. И всё станет еще хуже с искус-
ственным интеллектом вещей (artificial intelligence of things, AIoT). Развертыва-
ние традиционно не находится в рулевой рубке практика машинного обучения.

Глава 14. Интерпретируемость машинного обучения: что дальше? 613

Рис. 14.3. Публикации и поисковые тренды в отношении интерпретируемого машинного
обучения и объяснимого искусственного интеллекта

Именно поэтому машинное обучение всё больше зависит от операций машинного
обучения (machine learning operations, MLOps)1. А темпы автоматизации означают,

1 Операции машинного обучения — практика применения наработок DevOps с целью автоматизации,
управления и аудита рабочих потоков машинного обучения. — Прим. перев.

614 Часть III. Настройка на интерпретируемость

что для построения, валидирования, развертывания и мониторинга этих моделей
требуется больше инструментов. В то же время существует необходимость в стан-
дартизации инструментов, методов и метрик. Медленно, но верно это происходит.
С 2017 года у нас действует Открытый нейросетевой обмен (Open Neural Network
Exchange, ONNX) — открытый стандарт интеропреабельности. И на момент напи-
сания этой книги в Международной организации по стандартизации (Interna-
tional Organization for Standardization, ISO) было написано более двух десятков
стандартов ИИ (и один опубликован), некоторые из них предусматривают интер-
претируемость. Естественно, что-то будет стандартизировано из-за широко распро-
страненного использования, из-за консолидации классов моделей машинного обу-
чения, методов, библиотек, практик и поставщиков услуг. Со временем один или
несколько человек в каждой области станут победителями. Наконец, учитывая ог-
ромную роль машинного обучения в алгоритмическом принятии решений, это
только вопрос времени, когда они будут отрегулированы. Только некоторые фи-
нансовые рынки регулируют торговые алгоритмы, такие как Комиссия по ценным
бумагам и биржам (Securities and Exchange Commission, SEC) в Соединенных
Штатах и Управление по финансовому поведению (Financial Conduct Authority,
FCA) в Великобритании. Кроме того, широко обеспечивается соблюдение только
правил конфиденциальности и происхождения данных, таких как HIPAA в США
и LGPD в Бразилии. GDPR в Европейском союзе заходит немного дальше со своим
"правом на объяснение" алгоритмических решений, но предполагаемый масштаб
и методология пока что не ясны.

Интерпретируемость машинного обучения быстро растет, но отстает от собственно
машинного обучения. Некоторые инструменты интерпретации были интегрирова-
ны в облачную экосистему, от SageMaker до DataRobot. Им еще предстоит полно-
стью автоматизироваться, стандартизироваться, консолидироваться и отрегулиро-
ваться, но нет никаких сомнений в том, что это произойдет.

Размышления о будущем интерпретируемости
машинного обучения

Нередко приходится слышать высказывания, которые метафорически называют
этот период "Диким Западом искусственного интеллекта" или, что еще хуже, "Зо-
лотой лихорадкой ИИ"! Это вызывает в воображении образы неразведанной и не-
обузданной территории, которую охотно завоевывают или, что еще хуже, цивили-
зуют. Тем не менее в XIX веке западные районы США не слишком отличались от
других регионов планеты и уже давно были населены коренными американцами,
так что метафора не совсем работает. Предсказание с точностью и уверенностью,
которых можно достичь с помощью машинного обучения, напугало бы наших
предков и не является "естественной" позицией для нас, людей. Это больше похоже
на полет, чем на разведывание неизвестной земли.

В статье "Навстречу реактивной эре машинного обучения" (ссылка приведена в раз-
деле "Справочные материалы" в конце этой главы) представлена гораздо более

Глава 14. Интерпретируемость машинного обучения: что дальше? 615

подходящая метафора, состоящая в том, что ИИ подобен зарождению авиации. Она
нова и захватывающа, и люди внизу все еще восхищаются тем, что можно сделать
(рис. 14.4)!

Однако ей еще предстояло реализовать свой потенциал. Спустя десятилетия после
бурной эры авиация превратилась в безопасную, надежную и эффективную реак-
тивную эру коммерческой авиации. В случае с авиацией обещание состояло
в том, что она сможет надежно доставлять товары и людей через полмира менее
чем за сутки. В случае ИИ обещание состоит в том, что он сможет принимать объ-
ективные, подотчетные и прозрачные решения — возможно, не для любой задачи,
но, по меньшей мере, для тех, для которых он был разработан, если только это не
пример общего искусственного интеллекта (artificial general intelligence, AGI).

Рис. 14.4. Развлекательные полеты в 1920-е годы
(источник: отдел печати и фотографий Библиотеки Конгресса США)

И как же нам туда добраться? Далее приведены несколько идей, которые, как я
ожидаю, возникнут в стремлении достичь реактивной эры машинного обучения.

Новое видение машинного обучения

Поскольку мы намерены продвинуться с ИИ дальше, чем когда-либо прежде, прак-
тики машинного обучения завтрашнего дня должны быть более осведомлены об
опасностях неба. А под небом я подразумеваю новые рубежи предсказательной
и предписывающей аналитики. Риски многочисленны и предусматривают всевоз-
можные систематические смещения и допущения, проблемы с известными и по-
тенциальными данными, а также математические свойства и ограничения наших
моделей. Легко быть обманутым моделями машинного бучения, думая, что они яв-
ляются программно-информационным обеспечением. Тем не менее в этой аналогии
программно-информационное обеспечение полностью детерминировано по своей
природе — оно прочно закреплено на земле, а не парит в небе!

616 Часть III. Настройка на интерпретируемость

Для того чтобы гражданская авиация стала безопасной, ей требовалось новое мыш-
ление — новая культура. Летчики истребительной авиации Второй мировой войны,
какими бы способными они ни были, должны были пройти переподготовку для ра-
боты в гражданской авиации. Это совсем другая миссия, потому что, когда вы знае-
те, что перевозите пассажиров на борту, и ставки высоки, все меняется. Этический
ИИ и, как следствие, интерпретируемое машинное обучение, в конечном счете тре-
буют осознания того, что модели прямо или косвенно перевозят пассажиров "на
борту" и что модели не так устойчивы, как кажутся. Устойчивая модель должна
быть способна надежно выдерживать практически любые условия снова и снова,
как это делают современные самолеты. Для этого нам необходимо использовать
больше инструментов, и эти инструменты представлены в форме методов интер-
претации.

Междисциплинарный подход

Для моделей, соответствующих принципам FAT, необходима более тесная инте-
грация со многими дисциплинами. Это означает более активное участие специали-
стов по этике искусственного интеллекта, юристов, социологов, психологов, чело-
веко-ориентированных дизайнеров и бесчисленного множества других профессио-
налов. Вместе с технологами ИИ и инженерами программно-информационного
обеспечения они помогут воплотить лучшие практики в стандарты и правила.

Соответствующая требованиям стандартизация

Новые стандарты потребуются не только для исходного кода, метрик и методоло-
гий, но и для языка. Язык, лежащий в основе данных, в основном был заимствован
из статистики, математики, информатики и эконометрики, что приводит к большой
путанице.

Исполнение регуляторных предписаний

Вероятно, потребуется, чтобы все серийные модели соответствовали следующим
техническим требованиям.

 Являются сертифицированно устойчивыми и объективными.

 Способны объяснять свои рассуждения, лежащие в основе одного предсказания,
с помощью команды трассировки (TRACE), и в некоторых случаях должны пре-
доставлять рассуждения вместе с предсказанием.

 Могут воздерживаться от предсказания, в котором они не уверены.

 Способны производить уровни уверенности для всех предсказаний.

 Могут иметь метаданные о происхождении тренировочных данных (даже если
они являются анонимными) и авторстве, а также, при необходимости, сертифи-
каты соответствия нормативным требованиям и метаданные, привязанные к пуб-
личному реестру — возможно, блокчейну.

Глава 14. Интерпретируемость машинного обучения: что дальше? 617

 Имеют сертификаты безопасности, во многом как это делается в отношении веб-
сайтов, для обеспечения определенного уровня доверия.

 Прекращают работу по истечении срока действия, пока не пройдут переобуче-
ние с новыми данными.

 Автоматически отключаются от сети, когда не проходят модельную диагности-
ку, и снова подключаются к сети только после прохождения.

 Имеют конвейеры непрерывного обучения/непрерывной интеграции (Conti-
nuous Training/Continuous Integration, CT/CI), которые помогают перетренировы-
вать модель и регулярно выполнять модельную диагностику, чтобы избегать
простоев модели.

 Диагностируются сертифицированным аудитором ИИ, когда они катастрофиче-
ски отказывают и наносят общественный ущерб.

Новые правила, скорее всего, способствуют созданию новых профессий, таких как
аудиторы ИИ и инженеры по модельной диагностике. Но они также будут поддер-
живать инженеров MLOps и инструменты автоматизации машинного обучения.

Бесшовная автоматизация машинного обучения
со встроенной интерпретацией

В будущем мы не станем программировать конвейер машинного обучения; в ос-
новном это будет процесс перетаскивания с помощью настроечной панели, предла-
гающей всевозможные метрики. Он будет эволюционировать главным образом
в сторону автоматизации. Автоматизация не должна вызывать удивления, потому
что некоторые существующие библиотеки выполняют обучение модели с исполь-
зованием автоматизированного отбора признаков. Некоторые повышающие интер-
претируемость процедуры могут выполняться автоматически, но большинство из
них должны требовать человеческого наблюдения. Тем не менее интерпретация
должна вводиться на протяжении всего процесса, подобно тому, как самолеты, ко-
торые в основном летают сами, имеют датчики, предупреждающие пилотов о про-
блемах; ценность заключается в информировании практика машинного обучения
о потенциальных проблемах и улучшениях на каждом шаге. Найден ли признак,
который можно рекомендовать для монотонных ограничений? Обнаружен ли ка-
кой-то дисбаланс, который, возможно, нуждается в корректировке? Обнаружении
аномалии в данных, которые, возможно, нуждаются в некоторой поправке? Надо
показать практику всё, что нужно знать, чтобы принять обоснованное решение, и
дать ему принять это решение.

Более тесная интеграция с инженерами MLOps

Сертифицированно устойчивые модели, натренированные, валидированные и раз-
вернутые одним нажатием кнопки, требуют большего, чем просто облачная инфра-
структура — оркестровку инструментов, конфигураций и людей, обученных в MLOps,
для их мониторинга и регулярного технического обслуживания.