Интерпретируемое машинное обучение на Python

618 Часть III. Настройка на интерпретируемость

Так же как авиации, которой потребовалось несколько десятилетий, чтобы стать
самым безопасным видом транспорта, ИИ потребуется несколько десятилетий,
чтобы стать самым безопасным способом принятия решений. Мы должны будем
пройти длинный путь, чтобы добраться туда, но это будет захватывающее путеше-
ствие! И помните, лучший способ предсказать будущее — это его создать.

Справочные материалы

 O’Neil C. Weapons of Math Destruction. — Penguin Books, 2017. (О’Нил С. Ору-
жие математического уничтожения.)

 Talwalkar A. Toward the Jet Age of machine learning. — O’Reilly, 2018. — URL:
https://www.oreilly.com/content/toward-the-jet-age-of-machine-learning/ (Талвалкар А.
Навстречу реактивной эре машинного обучения.)

Предметный указатель

A Convolutional neural network (CNN) 306
 классификатор 315
Accumulated local effects (ALE) 182
AdditiveExplainer 201  классификация ошибочная 320
AI Fairness 360 (AIF360), библиотека  модель 314
Correctional offender management
462, 578
AI Объяснимость 360 (AIX360), проект profiling alternative sanctions
(COMPAS) 516
578 C-SVC-модель, тренировка 237, 239
alibi 279
AMT_14 450 D
Area under the curve (AUC) 94
Association-based distance metric DeepExplainer 199
DeepLift 198
(ABDM) 286 DOMAIN_SOCIALCLS 450
Automated traffic recorder (ATR) 364
Average treatment effects (ATE) 459 E
AVGGIFT 450
Eigen-CAM 337
B Explainable boosting machine (EBM) 134

Bayesian rule list (BRL) 123 F

C False positive rate (FPR) 272

CatBoost, классификатор 273 G
ceteris paribus 63
Classification and regression tree (CART) Generalized additive model (GAM) 104,
201
91, 118
CLUSTER 450 Generalized linear model (GLM) 69
Conditional average treatment effects Generalized linear models (GLM) 103

(CATE) 459
Contrastive explanations method (CEM)

267

620 Предметный указатель

Grad-CAM 336 LinearExplainer 200
Grad-CAM++ 337 Long short-term memory (LSTM) 362
Gradient-based one-side sampling (GOSS)  атрибуции, генерирование 381
LSC2 451
274
GradientExplainer 199 M

H Matthews correlation coefficient (MCC)
95, 477
HVP2 449
MAXRAMNT 449
I MDMAUD_A 450
Miles per gallon (MPG) 183
IC15 451 Minimal variance sampling (MVS) 274
MINRAMNT 450
K Modified value difference metric

k ближайших соседей (kNN) 86, 248 (MVDM) 286
 важность признаков 127 Multi-armed bandit (MAB) 278
 интерпретация 125
k средних, кластеризация 240 N
k-d-дерево 299
KernelExplainer 200 NGIFTALL 450
 вычисление значений SHAP 239
Kullback — Leibler divergence lower and O

upper confidence bounds (KL-LUCB) On-time performance (OTP) 76
278 Ordinary least squares (OLS) 85
out-of-bag 138
L
P
LASSO LARS 436
LASSO LARS IC 436 Partial dependence plot (PDP) 73, 182
LASSO-регрессия 111, 123 PartitionExplainer 200
LASTGIFT 449 PermutationExplainer 200
LF AI & Data Foundation, фонд 578 Precision-Recall (PR) 297
LightGBM-модель, тренировка 253 Principal component analysis (PCA) 97
LIME 200 p-значение 34, 60, 110
LimeTabularExplainer, локальная
Q
интерпретация одиночного
предсказания 249 Q-Q-график 105
LimeTextExplainer, локальная Quickshift 347
интерпретация одиночного
предсказания 254

Предметный указатель 621

R tf-explain 339
TreeExplainer 199
RAMNTALL 449 TreeSHAP 198
Root mean square error (RMSE) 88 t-статистика 108, 110
RuleFit, модель 86, 123
 интерпретация и важность признаков V

124 Variance inflation factor (VIF) 105
R-квадрат (R2) 89 Variational autoencoder (VAE) 98, 286

S W

SamplingExplainer 200 What-If Tool (WIT) 289
Score-CAM 337  конфигурирование 289
SHapley Additive exPlanations (SHAP)  редактор точек данных 291
 результативность и объективность
198
Skoped Rules: 296
 глобальная интерпретация 138
 локальная интерпретация 139 X
 модель 138
 результативность 140 XGBoost:
SmoothGrad 200, 588  имплементирование ограничения

T модельного 551
 оценивание результативности 192
T-distributed stochastic neighbor  строительство модели 192
embedding (t-SNE) 98 XGBoost, модель 253

TensorFlow Lattice (TFL) 487

622 Предметный указатель

А Б

Автокодировщик 299 Байес наивный 127
 вариационный (VAE) 98, 286  бернуллиев 128
Агрегирование бутстраповских  важность признаков 129
 гауссов 91, 128
выборок 539  интерпретация 129
Активация промежуточная 325  мультиномиальный 128
Алгоритм:  сигма и тета 129
 генетический (GA) 444 Баланс перевыборки, подтверждение

 мутация 444 520
 отбор 444 Балл F1 (грамоническое среднее) 95,
 скрещивание 444
 глубокого обучения для определение 152
важных признаков (DeepLIFT) 199, Бандит многорукий (MAB) 278
340 Бережливость 41
 многорукого бандита (MAB) 278 Болезнь сердца ишемическая 53
Анализ: Бройден — Флетчер — Гольдфарб —
 главных компонент (PCA) 97, 150
 дисперсии (ANOVA), тест на основе Шанно лимитированный по памяти
F-статистики 432 (L-BFGS) 151
 квадратичных дискриминант (QDA) Бустинг 86, 91
161 Быстродействие 133
 линейных дискриминант (LDA) 150 Бэггинг 86
 важность признаков 159
 чувствительности методом Соболя В
401, 403
Атака: Важность признаков 35, 147
 антагонистическая 45  в LDA 159
 выведение результата 576  в древесных моделях 154
 обход через лазейку 577  в логистической регрессии 156
 отравление 576  в многослойном персептроне 161
 перепрограммирование 577  концепция 162
 троянирование 577  модельно-агностическая 444
 эвазия 576  недостатки 165
 вазивная 576  перестановочная (PFI) 145 239
 методом инфинитной нормы (C&W) Валидация перекрестная
581
 целенаправленная методом AP 583 стратифицированная K-блочная 533
 эвазивная: Величина расчетная выявленная 504
 методом инфинитной нормы Вероятность равного соотношения

(C&W) 581 (EPP) 492
 быстрый метод на основе знака Веса важности нейронов 336
Взаимодействие признаков 204
градиента (FGSM) 578 Взятие по одному за раз (OAT) 397
 целенаправленная методом AP 583  отбор образцов 394

Предметный указатель 623

Вклад маргинальный 196  индивидуальных условных
Влияние признака на исход, измерение ожиданий (ICE) 174
 недостатки 179
150
Вложение соседей t-распределенное  квантильно-квантильный 105
 накопленного локального эффекта
стохастическое (t-SNE) 98
Возвратность инвестиций (ROI) 416 (ALE) 174, 182, 217
Воздействие неблагоприятное 475  решения для локальной
Возможность равная 298
Воспроизводимость 531 интерпретации групповых
Время вычисления 133 предсказаний 241
Выборка:  силовой SHAP 215
 внепакетная 138  для локальной интерпретации
 градиентная односторонняя (GOSS)
одиночного предсказания 244
253, 274  частичной зависимости (PDP) 73,
 минимально-дисперсная (MVS) 274
 Монте-Карло 197, 218 145, 182
Выброс 44  интеракционный 171
Выведение модельного результата 479  интерпретирование 166
Выделение основ слов 234  недостатки 174
Выпуклость 556
Выработка признаков 480 Д
Выравнивание неодинакового
Дерево:
обращения 491  градиентно-бустированное 91
 классификационно-регрессионное
Г
(CART) 91, 118
Гамма, гиперпараметр 237  решений 85, 118
Гомоскедастичность 33, 105
Градиент:  важность признаков 121
 ожидаемый 198  интерпретация 119
 интегрированный (IG) 338 Диагностирование риска рецидивизма,
необъективное систематическое
 генерирование LSTM-атрибуций смещение 266
381 Дивергенция:
 Дженсена — Шеннона 432
 использование объяснителя 339  Кульбака — Лейблера 98, 278, 432
 по траектории 338 Дизайн:
Граница:  ценностно-чувствительный 48
 решения 63  человеко-центрированный 48
 уверенности нижняя и верхняя Дискретизация 451, 525
дивергенции Кульбака — Лейблера Дисперсия:
(KL-LUCB) 278  внутриклассовая 150
График:  межклассовая 150
 зависимости: Доверие 556
 SHAP 207  трапезоидное 556
 интерпретирование 198  Эджворта 556

624 Предметный указатель

Доказательство концепции (POC) 605  предубеждения 487
Доминирование 557  чувствительности, вычмсление
Дрейф:
 данных 456 методом Морриса 394
 концепции 456 Инструментарий обеспечения
 признаков 456
устойчивости к антагонизму (ART),
З библиотека 578
Интеллект искусственный (ИИ) 36
Заболевание сердечно-сосудистое  объяснимый (XAI), в сопоставлении
(ССЗ) 52, 397
с iML 612
Загрязненность узла 154 Интерактивность 72, 105
Задача многопеременного Интерпретация:
 глобальная холистическая 116
прогнозирования, инспектирование с  локальная:
помощью LSTM 362, 364
Защита антагонистическая:  группы предсказаний с
 детекция 586 использованием графиков решений
 постобработка 586 241
 предобработка 585
 преобразователь 586  для якорного объяснения 281
 тренировка антагонистическая 586  одиночного предсказания с
Знает то, что знает (KWIK) 491
Значение: использованием:
 SHAP:  с использованием

 вычисление 201, 391 LimeTextExplainer 249, 254
 с помощью ядерного объясни-  силового графика 244
теля 239  машинного обучения 30
Интерпретируемость 37
 среднее 125  атрибуты 38
 Шепли 196, 387  в сопоставлении с объяснимостью 37
 имманентная 39
 аддитивность 197  машинного обучения:
 замещаемость 197  автоматизация бесшовная 617
 фиктивность 197  будущее 614
 эффективность 197  видение 615
 выгоды для бизнеса 42
И  интеграция с инженерами MLOps
617
Игра фиктивная 488  исполнение регуляторных
Измерение влияния признака на исход предписаний 616
 ландшафт 607
150  подход междисциплинарный 616
Иллюзия контроля за систематическим  прогнозы на будущее 614
 стандартизация, соответствующая
смещением 43 требованием 616
Индекс:  тренды 612
 Джини 119  модели:
 массы тела (ИМТ) 68  типа белого ящика 39
 типа черного ящика 39

Предметный указатель 625

 глобальная модулярная  с использованием махинаций
интерпретация 61 с объективностью 489

 глобальная холистическая Классификация:
интерпретация 61  гребневая 90
 мультиномиальная 90
 диапазоны 61  на основе взаимной информации
 локальная интерпретация группы
(MIC) 432
предсказаний 61  несбалансированная 92
 локальная интерпретация  ошибочная, оценивание с помощью

отдельного предсказания 61 градиентных методов 332
 постфактумная 38 Коалиция 196
 потребность 37 Ковариация 34
 ретроспективная 130 Кодирование:
 управление сложностью 37  категориальное 235, 530
Интерсекционность 303  меток 530
Информация взаимная (MI) 432  порядковое 530
 с одним активным состоянием 107,
К
279, 530, 571
Карта:  фиктивное 530
 активаций 306 Кодировка:
 категориальная 149
 классов (CAM) 336  с одним активным состоянием 149,
 заметности 333
 чувствительности 332 268
Квадраты наименьшие обычные (OLS) Количество значений с квази-

40, 108 постоянными признаками 429
Квази-константа, признак 429 Комплектование эксклюзивными
Квартиль 525
Класс: признаками (EFB) 253
 контрфактический 284 Компромисс:
 модельный, настройка 536  между результативностью и

 оценивание объективности интерпретируемостью 130
наиболее результативной модели  между систематическим смещением
542
и дисперсией 134
 пакетная гиперпараметрическая Константа 64
539 Конструирование признаков 56, 447,

 релевантных моделей 536 480
Классификатор:  установка ограничений 522
 CNN базовый, оценивание 575 Контрфакт 284
 на основе списка байесовых правил Корень из среднеквадратической

(BRLC) 221 ошибки (RMSE) 88, 376
 теорема Байеса об условных Корпорация по управлению активами

вероятностях 91 (AMC) 461
 опорно-векторный (SVC) 236 Корреляция:
 линейная 34
 мнимая 72

626 Предметный указатель

Коэффициент: Мера допуска 105
 детерминации 89 Метод:
 инфляции дисперсии 105  активационный, визуализация
 корреляции:
процесса усвоения знаний 323
 Мэтьюса (MCC) 95, 152, 238, 477  анализа чувствительности:
 Пирсона 34, 89, 430
 Спирмена 205, 430  Морриса 362
 тау Кендалла 431  Соболя 362
 объясненной дисперсии (EVR) 443  ансамблевый 86
 сдвиговый 64  бустинг 118
Кризис субстандартного ипотечного  бэггинг 118
кредитования 460  стэкинг 118
Критерий:  атрибуции:
 информационный Акаике (AIC) 436  градиентный 341
 информационный байесов (BIC) 436
 байесова оптимизация 545  оценивание ошибочных класси-
фикаций 332
Л
 перестановочный 357
Лемматизация 234  метод контрастивных объясне-
Лес случайный 86 ний (CEM) 349
Линейность 33  объяснитель изображений LIME
347
М  чувствительность окклюзивная
344
Максимизация активации 328
Массирование меток 480  пертурбационный 354
Матрица:  классифицирование 344
 корреляций 105
 путаницы, оценка смещения  базовый итеративный (BIM) 590
 быстрый на основе знака градиента
систематического предсказательного
270 (FGSM) 578
Махинация с объективностью 487  встроенный 435
Машина:  дисперсный 401
 градиентно-бустинговая легкая  интерпретации 61
(LightGBM) 229
 объяснимая бустинговая 134  диапазоны 61
 объяснимая бустинговая (EBM) 253  глобальной модельной 147
 глобальная интерпретация 135  традиционный:
 локальная интерпретация 136
 результативность 137  оценивание CNN-
 опорно-векторная (SVM) 229, 489, классификатора 315
533
 оценивание временного ряда 375
 квази-Монте-Карло 401
 классификационный:

 гауссов наивный Байес 91
 дерево:

 классификационно-
регрессионное (CART) 91

 градиентно-бустированное 91
 классификация гребневая 90

Предметный указатель 627

 классифицирование статуса  гибридный 439
задержки рейса 89  раскрытие потенциала 439
 рекурсивное устранение призна-
 метрики: ков 442
 ROC-AUC 94
 полнота 94  оберточный 439
 прецизионность 94  отбор последовательный обрат-
 точность 93 ный (SBS) 439
 отбор последовательный пла-
 оценивание 92, 95 вающий обратный (SFBS) 439
 регрессия логистическая 90  отбор последовательный прямой
 тренировка 92 (SFS) 439
 контрастивных объяснений (CEM)  отбор исчерпывающий (EFS) 439
267, 299, 349  поиск двунаправленный (BDS)
 сравнение с объяснением: 440
 раскрытие потенциала 439
 контрафактическим 299
 якорным 299  продвинутый 439
 корреляционный фильтрационный  автокодировщики 443
430  алгоритмы генетические (GA)
 коэффициент корреляции: 444
 Пирсона 430  метод модельно-агностический
 тау Кендалла 431 определения важности признаков
 ранговой Спирмена 430 444
 модельно-агностический 608  раскрытие потенциала 439
 модельного интерпретирования:  редукция размерности 443
 модельно-агностический 61
 модельно-специфический 61  фильтрационный 427
 типы 61  многопеременный 427
 модельной интерпретации:  однопеременный 427
 глобальный 61  сравнение 434
 традиционный 84
 классифицирование статуса за-  перевесовки 481
 ранжирующий фильтрационный 432
держки рейса с помощью клас-
сификационных методов 89  анализ дисперсии (ANOVA)
 пределы 102  тест на основе F-статистики 432
 предсказывание задержки с по-
мощью регрессионных методов  информация взаимная (MI) 432
84  тест независимости на основе
 Монте-Карло 402
 Морриса 394 статистики хи-квадрат 432
 наименьших квадратов (МНК) 85  регрессионный:
 определения важности признаков для
инспектирования расового  k ближайших соседей 86
систематического смещения 547  Lasso-регрессия 111
 отбора признаков:  RuleFit 86, 123
 встроенный, разведывательный  R-квадрат (R2) 89
анализ 435  деревья решений 85
 корень из среднеквадратической

ошибки (RMSE) 88
 лес случайный 86
 персептрон многослойный 87

628 Предметный указатель

 регрессия:  устранение антагонистическое
 гребневая 85 систематического смещения 488
 полиномиальная 85, 115
 устранитель предубеждения 489
 регуляризации стохастической 533  тестирования расчетной
 редукции размерности:
устойчивости 510
 t-распределенное стохастическое  добавление:
вложение соседей (t-SNE) 98
 ненаблюдаемой общей причины
 автокодировщики вариационные 510
98
 случайной общей причины 510
 анализ главных компонент (PCA)  замена экспериментальной
97
процедуры случайной переменной
 визуализирование задержек рейсов 511
96  опровергатель:
 плацебо-процедур 510
 смягчения систематического  подмножества данных 510
смещения:  причина случайная общая 510
 постобработка 479, 490  фильтрационный базовый 428
 воздержание от предсказания 490  признаки:
 классифицирование с  дублирующие 429
выбраковкой вариантов 491  квази-константные с количества-
 с калиброванным уравниванием
шансов 491 ми значений 429
 с уравниванием шансов 491, 492  постоянные с дисперсным поро-
 предобработка 479, 480
 балансировка 480 гом 428
 конструирование признаков 480  устранение ненужных 430
 неосведомленность 480 Метрика:
 оптимизированная для  конкретно-прикладная, разработка 544
предотвращения дискриминации  модифицированной разности
481 значений (MVDM) 286
 перевесовка 480, 481  объективности:
 переразметка 480  групповой 473
 усвоение объективных  индивидуальной 472
представлений 481  расстояния на основе ассоциаций
 устранитель неблагоприятного (ABDM) 286
воздействия 481, 484  регрессионная стандартная:
 обработка промежуточная 479, 487  агрегации предсказательной
 классификатор с использованием ошибки 378
махинаций с объективностью  использование 376
487, 489  оценивание как
 ограничения 487 классификационной задачи 380
 регуляризатор устранителя  сравнение с методами смягчения
предубеждений 487 систематического смещения 493
 редукция градиента Миля:
экспоненцированная 488  в эквиваленте бензина на галлон
 тренировка, чувствительная к израсходован-ного топлива (MPGe)
стоимости 487 187
 на галон израсходованного топлива
183

Предметный указатель 629

Мода 125, 127  оценивание по прецизионности 541
Модель:  предсказания веса 31
 CNN базовая, загрузка 573  причинно-следственная:
 Keras:
 инициализация линейного дважды
 оценивание 561 устойчивого ученика 502
 строительство с помощью
 инспектирование причин 500
TensorFlow Lattice 560  инспектирование результатов 497
 тренировка 561  компоненты 500
 аквариумная 134  подгонка 502
 Skoped Rules 138  строительство 495, 500
 машина объяснимая бустинговая  подгонка и оценивание с помощью
параметров 546
134 
 обнаружение 134  прозрачная 39
 базовая:  разреженная линейная 111
 оценивание для демонстрации  регуляризованная с коэффициентами
435
эффекта нерелевантности  построенная с применением отбора
признаков 422 признаков, оценивание 445
 строительство для демонстрации  типа:
эффекта нерелевантности  белый ящик 39
признаков 421
 тренировка на разных  RuleFit 123
максимальных глубинах для  ближайшие соседи 125
демонстрации эффекта  дерево решений 118
нерелевантности признаков 425  наивный Байес 127
 глобально-суррогатная 221  черный ящик 39
 готовая 558  тренировка для предсказания
 древовидная 435 задержек внутренних рейсов 77
 важность признаков 154 Модификатор гетерогенного эффекта
 интрепретируемая имманентно 123 экспериментальной процедуры 500
 косвенная 221, 273 Монотонность 72, 205, 556
 тренировочная 267 Мультиколлинеарность 34, 165
 линейная обобщенная (GLM) 69, 103
 машинного обучения на основе Н
экземпляров 86
 модельно-агностическая 162 Набор данных отложенный 88
 настройка на интерпретируемость Набросок взвешенный квантильный
532
 модельных классов 536 253
 нейронной сети Keras 533 Направление главное 98
 непроницаемая, признаки 41 Настройка:
 обобщенная:  байесова гиперпараметрическая:
 аддитивная (GAM) 104, 134, 201
 линейная (GLM), регрессия  выполнение 545
 гребневая 111  оптимизирование объективности 544
 логистическая 116  порога 297
 полиномиальная 115

630 Предметный указатель

Недавность/частота/сумма (RFA) 450  локально-интерпретируемое
Независимость 33, 105 модельно-агностическое (LIME) 247,
Нелинейность 69, 105 347
Немонотонность 72, 105  в сопоставлении с SHAP 260
Непроницаемость 41  применение 247
Норма:  применение для NLP 251
 L1 532  слова ключевые 247
 L2 85, 532
Нормальность 33, 105  якорное 267
 многопеременная 160  интерпретации локальные 281
 подготовка с помощью alibi 279
О  сравнение с методом
контрастивных объяснений (CEM)
Обработка естественного языка (NLP) 299
 LIME 251
 для аддитивных объяснений Шепли Объяснимость 40
 в сопоставлении с
(SHAP) 257
Образец Сальтелли: интерпретируемостью 37
 генерирование 402  используемость 41
 предсказывание 402  потребность 41
Обучение: Объяснитель:
 дважды устойчивое (DRL) 501  SHAP:
 машинное интерпретируемое (iML),
 выборочный 200
в сопоставлении с XAI 612  глубокий 199, 357
Обход через лазейку 577  градиентный 199
Объективность:  древовидный 199
 исхода 468  линейный 200
 подотчетность и прозрачность (FAT)  ядерный 200

36, 103, 607  вычисление глобальных и ло-
 процедуры внутренней 468 кальных атрибуций 387
 сглаженная эмпирическая
 заложение основы для стратегии
дифференцированная 475 аппроксимации перестановок 389
Объяснение:
 аддитивное Шепли (SHAP) 182, 198,  имплементирование для локаль-
ной интерпретации со значения-
548 ми SHAP 236
 в сопоставлении с LIME 260
 применение в NLP 257  определение стратегии для рабо-
 пропущенность 198 ты с моделью на основе много-
 стабильность 198 переменного временного ряда
 точность локальная 198 388
 контрфактическое 267, 284
 по прототипам 285  потребность 387
 сравнение с методом  изображений LIME 347

контрастивных объяснений (CEM)  вывод объяснений на график 348
299  извлечение изображения и маски

из объяснения 348
 инициализация объяснений 347
 объяснение 347
 создание объяснений 347

Предметный указатель 631

 Шепли: Отклик мультиномиальный 103
 аддитивный 201 Отравление 576
 инициализация 201 Отсев 131
 перестановочный 200 Отсутствие мультиколлинеарности 105
 пораздельный 200 Отыскание расщеплений с учетом

Ограничение: разреженности 253
 взаимодействия 550 Охват 278
 контура 556 Оценка плотности ядра 499
 модельное: Оценщик 88
 конкретно-прикладной 558
 для TensorFlow Lattice 556  стандартный 557
 имплементирование 556 Ошибка:
 инициализация модели и входов  в сопоставлении с остатками 33
в Lattice 558  среднеквадратическая (MSE) 189
 фундаментальная атрибуции 44
 для XGBoost 551
 инспектирование 553 П
 оценивание 552
 тренировка 552 Парадокс Симпсона 475
 установка параметров Паритет демографический 298
регуляризации и ограничения 551 Перевесовка 480
Перевыборка 480
 имплементирование 550 Переменная:
 для TensorFlow Lattice 556  отклик 30
 для XGBoost 551  предсказательная 30
 признаковая 30
 монотонное 550  целевая 30
Один-против-остальных (OvR) 156  Переменная опосредующая 67
Оператор наименьшего абсолютного Переподгонка 85
Перепрограммирование 577
сжатия и отбора 436 Переразметка 480
Оптимизированная предобработка для Пересечение 64
Переформатирование меток 480
предотвращения дискриминации 481 Персептрон многослойный 87
Остатки в сопоставлении с ошибкой 33  важность признаков 161
Отбор: Пиксел 149
 атрибутов 420 Площадь под кривой (AUC) 94, 238,
 обратный последовательный (SBS)
560
439, 441 Подавление 480
 переменных 420 Поддержка внутреннего состояния 386
 плавающий: Подрезание 131
Подход тройной 518
 обратный последовательный
(SFBS) 439

 прямой последовательный (SFFS)
439

 признаков 420
 исчерпывающий (EFS) 439

 прямой последовательный (SFS) 439,
440

632 Предметный указатель

 к техническим решениям по  интеракционный 72
обеспечению интерпретируемости  квази-постоянный 429
611  меньшее подмножество,

Поиск двунаправленный (BDS) 440 преимущества 420
Политика внутрикорпоративная  постоянный 428
 с более высокой кардинальностью
процедурная 496
Полнота 152 156
Понтирование 490 Принцип простоты 41
Популяция 48 Приоретизация факторная 394
Порог:  выявления влиятельных признаков
 дисперсный с постоянными
394
признаками 428 Причина общая 501
 классификационный 297 Проблема исчезающего градиента 386
Последовательность Соболя 402 Прозрачность 130
Постобработка:  аквариумная в сопоставлении с
 с калиброванным уравниванием
обоснованной прозрачностью 42
шансов 492  алгоритмическая 40
 с уравниванием шансов 491  конструктивная 40
Потеря шарнирная 237  модельная 40
Правдоподобие отрицательное  обоснованная в сопоставлении с

логарифмическое 151 аквариумной прозрачностью 42
Правило:  типы 40
 c ограниченным диапазоном 278 Производительность своевременной
 принятия решения 123
Предобработка для защиты от работы 76
Просвечиваемость 130
целенаправленных атак 585 Простота 41
Предпочтение ожидания над Пространство:
 векторное:
преобразованием (EOT) 583
Предсказание отдельное,  вещественное 127
 целочисленное 127
интерпретирование с помощью  пертурбационное 278
логистической регрессии 62 Протокол передачи гипертекста (HTTP)
Преобразование нелинейное 526 149
Препятствия на пути Профилирование исправительного
интерпретируемости машинного управления правонарушителями для
обучения 67 альтернативных санкций (COMPAS)
 интерактивность 72 266, 516
 нелинейность 69 Процедура обращения
 немонотонность 72 экспериментальная 497
Прецизионность 278 Процесс усвоения знаний, визуализация
Прецизионность — полнота (PR) 297, с помощью активационных методов:
494  максимизация активации 328
При прочих равных условиях 63  промежуточные активации 325
Признак:
 гетерогенности 500

Предметный указатель 633

Проявление систематического  интерпретация 117
смещения:  отдельных предсказаний 62

 вероятность 468  на основе эластичной сети 436
 гибрид 468  обычная линейная (OLS) 502
 представление 468  опорного-векторная (SVR) 237
 распределение 468  полиномиальная 104, 115
Пул предметный международный  пуассонова 103
 с наименьшим углом 436
личностный (IPIP) 146 Регулирование алгоритмическое 42
Регуляризатор:
Р  гессианов 557
 лапласов 557
Раб кредитной карты 460  складок 557
Равновесие Нэша 488  торсионный 557
Разбивка на корзины. См. Регуляризация 85
Редукция размерности 443
Дискретизация Результат:
Разложение:  истинноотрицательный 270
 матрицы ковариаций на собственные  истинноположительный 270
 ложноотрицательный 270
значения 97  ложноположительный 270
 сингулярное (SVD) 443  пертинентный:
Разница:
 в равных возможностях 478  отрицательный (PN) 299, 349
 в средних 475  положительный (PP) 299, 350
 статистически паритетная 475 Результативность:
Разреженность 111  оценивание 131
Распределение гауссово 91  предсказательная 133
Распространение релевентности Рецидивизм 266
Решатель 151
послойное (LRP) 340 Ряд временной, оценивание
Расстояние: традиционными методами
 L1 285 интерпретации 375
 L2 285
 евклидово 285 С
 манхэттенское 285
Регламент о защите персональных Сведение на основе:
 глобального среднего (GAP) 336
данных (GDPR) 577  максимума (MaxPooling) 336
Регресия: Сводка SHAP:
 гребневая 85, 104, 111, 436  генерирование графиков 202
 интерпретирование 198
 важность признаков 115
 интерпретация 112
 линейная 103, 104
 важность признаков 108
 интерпретация 106
 логистическая 103, 116, 436
 важность признаков 117, 156

634 Предметный указатель

Свойство:  из-за иллюзии контроля 43
 модельное:  из-за консерватизма 44
 из-за опущенных переменных 35
 объяснимость 130  из-за отбора данных 35
 регуляризуемость 131  квантифицирование в наборе данных
 фиктивности 239
Связь: 472
 латентная 153  модельное:
 мнимая 72
Сглаживание:  квантифицирование 476
 пространственное 588  обнаружение 467
 рандомизированное для  предсказательное, оценка с помощью
сертифицирования устойчивости 597
Сеть: матрицы путаницы 270
 глубокая решетчатая (DLN) 558  смягчение 479
 нейронная: Соседи ближайшие:
 Keras 533  k ближайших (kNN) 125
 радиусные 248
 выполнение Список байесовых правил 123
гиперпараметрической настройки Спуск градиентный проецированный
534
(PGD) 586
 инспектирование результатов 535 Средняя разница шансов (AOD) 478
 определение модели и Ставка на принцип разреженности 112
Стандарт двойной 303
параметров 533 Станция автоматической регистрации
 оценивание наилучшей модели
дорожного движения 364
535 Статус социально экономический 450
 глубокая: Стэкинг 86
Суждение альтернативное 284
 оценивание результативности Суррогат:
188  глобальный 182
 интерпретирование 223
 строительство модели 188  оценивание 222
 рекуррентная (RNN) 381
 сверточная 306 Т
 эластичная 532
 наивная 286 Таблица просмотровая
Сжатие (штраф) 111, 112 интерполированная 556
Сила выразительная 108
Система оповещения о воздушном Теорема Байеса об условной
движении и предупреждения вероятности 127
столкновений в воздухе (TCAS) 38
Скорость исполнения 133 Теория игр:
Слой калибровки 556  коалиционных 196
Случай положительный 59  кооперативных 196
Смещение систематическое: Тест:
 визуализирование в наборе данных  амплитудной чувствительности на
469
 из-за заметности 44 рядах Фурье (FAST) 401
 Гольдфельда — Квандта 105

Предметный указатель 635

 Колмогорова — Смирнова 105 Ф
 независимости на основе статистики
Факт противоречащий 284
хи-квадрат 432 Фактор спутывающий 501
Техника синтетической избыточной Фиксирование факторов 401
Формула линейно-регрессионная 32
выборки меньшинства (SMOTE) 480 Функция:
Точность 152  кусочно-линейная (PWL) 558
Тренировка:  логистическая 58, 116
 антагонистическая устойчивого  радиально-базисная (RBF) 237
 распределения кумулятивная (CDF)
классификатора, противостояние
эвазивной атаке 590 598
 модели 479  стоимости реалистичная,
Троянирование 577
Трюк ядерный 237 встраивание 405

У Х

Унимодальность 556 Характеристика приемника 94, 494, 575
Упорядочение 523
Усвоение объективных представлений Ц

481 Цепочка принятых решений 42
Усиление смещения
Ч
дифференцированной объективности
478 Частота:
Устойчивость:  классификаций:
 к антагонизму:
 истинноположительных (TPR) 478
 оценивание 595  ложноотрицательных (FNR) 478
 сертифицирование 595  ложноположительных (FPR) 478,
 модели, сравнение с силой атаки 595
 расчетная, тестирование 510 542
 сертифицирование с помощью  результатов:
рандомизированного сглаживания
597  истинноположительных 94
Устранение признаков рекурсивное 442  ложноположительных 272
Устранитель:  отсутствия информации (NIR) 153
 неблагоприятного воздействия 481,  появления ошибки null 153
484  термина — обратная частота
 предубеждения 489 документа (TF-IDF) 251
Участок решения 63, 278 Член взаимодействия 526
Ученик: Чувствительность 94
 ленивый 86, 125
 сильный 86
 слабый 86
 усердный 86, 125

636 Предметный указатель

Ш  накопленный локальный (ALE),
графики 174
Шанс логарифмический 59
Шкалирование минимаксное 285  нерелевантного признака 420
Штраф 112  Расёмона 285
 процедуры экспериментальной:
Э
 средний (ATE) 504
Экземпляр:  условный средний (CATE) 501
 интересующий 276  элементарный (EE) 394
 контрфактический 288  анализирование 398
Этика техно-моральных добродетелей
Я
48
Эффект: Я не знаю (IDK) 490
 гетерогенный экспериментальной Язык гипертекстовой разметки (HTML)

процедуры 503 32
 выбор политических мер 507 Якорь 264, 278

Уатт Д., Борхани Р., Катсаггелос А.

www.bhv.ru Машинное обучение: основы, алгоритмы
и практика применения

Отдел оптовых поставок:
e-mail: [email protected]

 Интуитивно понятные объяснения

 Доступный подход к современным методам
численной оптимизации

 Комплексное введение в логистическую
регрессию и машины опорных векторов

 Представление сложных тем через призму
аппроксимации функций

 Уточненное описание глубоких нейронных
сетей и методов ядра

Благодаря интуитивно понятному, но строгому подходу к машинному обучению
эта книга предоставляет фундаментальные знания и практические инструменты,
необходимые для проведения исследований и разработки систем машинного обу-
чения. В книге приведено более 100 углубленных упражнений на языке Python. Да-
но введение в машинное обучение и математическую оптимизацию, включая мето-
ды первого и второго порядков, градиентного спуска и Ньютона. Отдельно
рассмотрены продвинутые методы оптимизации. Приведено полное описание обу-
чения с учителем, включая линейную регрессию, двухклассовую и многоклассовую
классификацию, а также обучение без учителя и фундаментальные методы генера-
ции признаков. Дано введение в нелинейное обучение с учителем и без. Обсужда-
ется тема автоматизированного отбора подходящих нелинейных моделей, включая
перекрестную валидацию, бустирование, регуляризацию и ансамблирование. Рас-
смотрены фиксированно-контурные ядра, нейронные сети, деревья и другие уни-
версальные аппроксиматоры.

www.bhv.ru Элбон К.

Машинное обучение с использованием Python.
Сборник рецептов

Отдел оптовых поставок:
e-mail: [email protected]

В книге Вы найдете рецепты для:

 обработки числовых и категориальных данных,
текста, изображений, дат и времени;

 уменьшения размерности с использованием
методов выделения или отбора признаков;

 оценивания и отбора моделей;

 сохранения и загрузки натренированных моделей.

Научитесь решать задачи с использованием:

 векторов, матриц и массивов;

 линейной и логистической регрессии, деревьев,
лесов и k ближайших соседей;

 опорно-векторных машин (SVM), наивных
байесовых классификаторов, кластеризации
и нейронных сетей.

Книга содержит около 200 рецептов, которые помогут решить задачи машинного
обучения, возникающие в повседневной работе практикующего специалиста, такие
как загрузка и обработка текстовых или числовых данных, отбор модели, уменьше-
ние размерности и многие другие. Рассмотрена работа с языком Python и его биб-
лиотеками, в том числе pandas и scikit-learn. Решения всех задач сопровождаются
подробными объяснениями. Каждый рецепт содержит программный код, который
можно скопировать и опробовать на игрушечном наборе данных (toy dataset). Затем
этот код можно вставлять, объединять и адаптировать, создавая собственные при-
ложения.
Крис Элбон — аналитик данных и политолог с десятилетним опытом применения статисти-
ческого обучения, искусственного интеллекта и разработки программного обеспечения для
политических, социальных и гуманитарных проектов — от мониторинга выборов до оказания
помощи в случае стихийных бедствий. В настоящее время является ведущим аналитиком
данных в компании BRCK, продвигающей интернет-технологии на африканский рынок.

Лакшманан В., Робинсон С., Мунн М.

www.bhv.ru Машинное обучение.
Паттерны проектирования

Отдел оптовых поставок:
e-mail: [email protected]

Подготовка данных, создание моделей, внедрение в производство

Вы научитесь:

 Выявлять и преодолевать трудности,
встречающиеся во время тренировки,
оценивания и развертывания моделей
машинного обучения

 Представлять данные для разных типов
моделей машинного обучения, включая
векторные вложения, гибриды признаков
и многое другое

 Выбирать правильный тип модели для той
или иной задачи

 Строить надежный цикл тренировки
с использованием контрольных точек,
распределительной стратегии
и гиперпараметрической настройки

Приводимые в книге паттерны проектирования отражают лучшие практические
подходы к решению типичных задач машинного обучения. Указанные паттерны,
реализованные в программном коде, сконцентрировали опыт сотен экспертов
в простые и легкодоступные советы. Книга содержит подробный разбор 30 паттер-
нов, служащих для представления данных и задач, тренировки моделей, отказо-
устойчивого обслуживания, обеспечения воспроизводимости и искусственного ин-
теллекта. Каждый паттерн включает в себя постановку задачи, ряд потенциальных
решений и рекомендации по выбору технического приема, наилучшим образом
подходящего к данной ситуации.

Электронный архив на сайте издательства содержит код описанного в книге
веб-приложения и другие полезные файлы.

Валлиаппа Лакшманан, руководитель отдела аналитики данных и ИИ в коллективе разра-
ботчиков Google Cloud.

Сара Робинсон, занимает должность developer advocate в коллективе разработчиков Google
Cloud со специализацией в машинном обучении.

Майкл Мунн, инженер по техническим решениям в области машинного обучения в компании
Google, где он помогает клиентам разрабатывать и внедрять модели машинного обучения.

www.bhv.ru Уиндер Ф.

Отдел оптовых поставок: Обучение с подкреплением
e-mail: [email protected] для реальных задач

 Освойте обучение с подкреплением и узнайте,
как его алгоритмы применяются при решении
задач

 Основательно проработайте фундаментальные
темы RL, рассмотренные в книге: марковские
процессы принятия решений, динамическое
программирование и обучение с применением
временной разницы

 Разберитесь в различных методах
формулирования ценностных функций
и градиентов политик

 Применяйте продвинутые RL-решения,
в частности, метаобучение, иерархическое
обучение, мультиагентное и имитационное
обучение

Книга посвящена промышленно-ориентированному применению обучения с под-
креплением (Reinforcement Learning, RL). Объяснено, как обучать промышленные
и научные системы решению любых пошаговых задач методом проб и ошибок —
без подготовки узкоспециализированных учебных множеств данных и без риска
переобучить или переусложнить алгоритм. Рассмотрены марковские процессы
принятия решений, глубокие Q-сети, градиенты политик и их вычисление, методы
устранения энтропии и многое другое. Данная книга — первая на русском языке,
где теоретический базис RL и алгоритмы даны в прикладном, отраслевом ключе.

Фил Уиндер, междисциплинарный инженер, эксперт и автор онлайн-курсов на платформе
O’Reilly. Возглавляет компанию Winder Research, оказывающую консультации в области
науки о данных (data science) для облачно-ориентированных приложений. Компания помогает
оптимизировать процессы, связанные с обработкой данных, а также обслуживает платформы
и продукты, работающие в этой нише. Автор имеет степени PhD и MEng в электротехнике,
полученные в Университете Халла.