Power Query в Excel и Power BI: сбор, объединение и преобразование данных

Введение в Power Query 49

тах из двух других столбцов, сначала нужно выбрать оба столбца. Для выбора
столбца в Power Query можно щелкнуть по заголовку столбца на панели про-
смотра. Кроме того, выбрать столбец можно с помощью клавиш курсора. Для
выбора нескольких столбцов можно использовать клавиши <Shift> или <Ctrl>
(<Shift> для соседних столбцов, а <Ctrl> — для столбцов, не расположенных по
соседству).

Выберите столбец Price (Цена). Затем при нажатой клавише <Ctrl> или <Shift>
выберите столбец Cost (Стоимость).

8. Для добавления нового столбца обратитесь к подходящему преобразованию на
вкладке Добавление столбца (Add Column). Перейдите на эту вкладку, рас-
смотрите различные варианты и выберите команду Стандартный (Standard).
После этого появятся всевозможные арифметические операции, доступные при
создании нового столбца. Для того, чтобы вычесть стоимость из цены, выбери-
те пункт Вычесть (Subtract) в раскрывающемся меню.

9. Если столбец Вычитание (Subtraction) добавлен на панель просмотра, пере-
именуйте его как Profit (Прибыль). Для переименования столбца можно дваж-
ды щелкнуть по его имени в заголовке столбца и ввести новое название. Кроме
того, можно щелкнуть правой кнопкой мыши по заголовку столбца и открыть
контекстное меню, где находится обширный спектр параметров преобразова-
ния, которые можно применять к выбранным столбцам. Также обратите внима-
ние на команду Переименовать (Rename) в контекстном меню.

10. Посмотрите на значения в столбце Profit (Прибыль). Есть ли среди них отрица-
тельные значения? Отсутствуют. Если же таковые имеются, это связано с тем,
как реализован шаг 7. Если в столбце присутствуют отрицательные числа, зна-
чит, сначала выбирался столбец Cost (Стоимость), а затем, на шаге 7, столбец
Price (Цена) вместо того, чтобы сперва выбирать Price (Цена), и затем — Cost
(Стоимость). Чтобы исправить эту неточность (или убедиться, что формула
верна), выполните следующие действия:

а. Проверьте панель Примененные шаги (Applied Steps) в правой части окна
редактора Power Query. Вы увидите все шаги, которые были сгенерированы.
Выберите любой шаг и просмотрите соответствующую информацию на па-
нели просмотра. Данные, которые отображаются на панели просмотра, яв-
ляются лишь кэшированным предварительным просмотром фактических
данных. Ни одна из промежуточных таблиц не сохраняется в самом отчете.

б. На панели Примененные шаги (Applied Steps) выберите шаг Вставить вы-
читание (Inserted Subtraction).

в. В строке формул найдите длинную формулу и внутри нее отыщите
следующий код:

[Cost] - [Price]

Внесите такие изменения:

[Price] - [Cost]

50 Глава 1

Окончательная формула примет вид:

= Table.AddColumn(#"Changed Type", "Subtraction", each [Price] - [Cost], type number)

ПРИМЕЧАНИЕ
На этом этапе, если вы новичок в Power Query, не пытайтесь понять синтаксис в стро-
ке формул. Эта формула является частью языка М. В дальнейшем вы узнаете, когда и
каким образом изменяются подобные формулы, без необходимости освоения синтак-
сиса языка М. Ко времени изучения материала главы 9 вы уже будете готовы для по-
гружения в язык М и изучения его секретов.

11. Удалите столбец Product Number (Номер продукта) путем выбора столбца
и нажатия на клавишу <Delete>. В качестве альтернативы во вкладке Главная
(Home) выберите команду Удалить столбцы (Remove Columns).

12. Попробуйте отфильтровать данные. Допустим, необходимо сохранить только
те строки, где указанный продукт содержит текст "Mountain" ("Гора"). Для это-
го в заголовке столбца Product (Продукт) можно выбрать элемент управления
фильтра. В открывшейся панели Фильтр (Filter) просмотрите различные про-
дукты.

Выберите параметр Текстовые фильтры (Text Filters), а затем выберите оп-
цию Содержит (Contains). В открывшемся окне диалога Фильтр по строкам
(Filter Rows) введите Mountain в текстовое поле, которое находится справа от
Содержит (Contains), и щелкните мышью на кнопке OK.

ПРИМЕЧАНИЕ
По умолчанию Power Query обрабатывает текст с учетом регистра. Если на шаге 12
ввести "Mountain" в текстовое поле, то вы пропустите все "горные" товары, поскольку
в их названиях присутствуют только строчные буквы. Для применения фильтра, неза-
висимого от регистра, можно изменить формулу М. Вот оригинальная формула, кото-
рая открывается в панели формул:

= Table.SelectRows(#"Removed Columns", each Text.Contains([Product], "Mountain"))

Добавляя Comparer.OrdinalIgnoreCase в качестве третьего аргумента функции
Text.Contains, можно получить фильтрацию, независимую от регистра. Ниже приво-
дится модифицированная формула, применяющая независимый от регистра фильтр:

= Table.SelectRows(#"Removed Columns", each Text.Contains([Product],
"mountain", Comparer.OrdinalIgnoreCase))

Вас может насторожить, что приведенная формула слишком сложна для восприятия
на данном этапе, но не следует беспокоиться по этому поводу. Большинство проблем,
связанных с подготовкой данных, можно решить без изменения формул. Из этой книги
вы узнаете, когда именно подобные изменения могут помочь, а также каким образом
следует вносить изменения, и для этого вам не придется полностью изучать синтаксис
языка М. Глава 10 помогает глубже понять М, повышая общую квалификацию.

13. Наконец, загрузим запрос в отчет. При использовании Power BI Desktop выбе-
рите команду Закрыть и применить (Close & Apply) на вкладке Главная
(Home). С этого момента можно начинать формирование визуализации для
преобразованной таблицы. Если применяется Excel, выберите команду За-

Введение в Power Query 51

крыть и загрузить (Close & Load) на вкладке Главная (Home) для загрузки
преобразованной таблицы на рабочий лист.

ПРИМЕЧАНИЕ
В отличие от Power BI, в Excel имеется несколько вариантов загрузки для поддержки
различных функций Excel. Можно загрузить преобразованные данные в таблицу на
рабочем листе, загрузить их в модель данных или просто сохранить как подключение
для дальнейшего применения. При работе в Excel 2016 или более поздних версиях
также можно загружать данные в сводную таблицу или сводную диаграмму непосред-
ственно из окна диалога Импорт данных (Import Data).

14. Откройте исходный файл C01E01.xlsx и внесите какие-нибудь изменения. По-
сле сохранения файла обновите отчет и обратите внимание, каким образом за-
прос обрабатывает измененные данные. Для обновления запроса в Excel выбе-
рите команду Обновить все (Refresh All) на вкладке Данные (Data). В Power BI
Desktop выберите команду Обновить (Refresh) на вкладке Главная (Home).

В этом и состоит суть автоматизации, что позволяет экономить время при об-
ращении к Power Query. Можно подготовить данные один раз, а затем запус-
кать обновления, что приведет к автоматизации процесса подготовки данных
в любой удобный для вас момент.

ПРИМЕЧАНИЕ
Обратите внимание, что запланированные обновления отчетов также доступны при
использовании службы Power BI, включая локальные источники данных. Дополни-
тельные сведения содержатся на сайте по адресу: https://docs.microsoft.com/en-
us/power-bi/refresh-scheduled-refresh.

15. Измените запрос, выполняя следующие шаги:

а. При работе в Excel выберите команду Запросы и подключения (Queries &
Connections) на вкладке Данные (Data) и дважды щелкните мышью на
запросе Products. В качестве альтернативы при работе в Power BI Desktop
выберите команду Изменить запросы (Edit Queries) на вкладке Главная
(Home).

б. Выберите любой из шагов на панели Примененные шаги (Applied Steps),
измените или удалите имеющиеся шаги и вставьте новые. Для вставки шага
между другими двумя шагами выберите первый шаг и задайте любое из пре-
образований в строке или в контекстных меню.

в. Для сохранения изменения и обновления данных выберите команду За-
крыть и загрузить (Close & Load) в Excel или Закрыть и применить
(Close & Apply) в Power BI Desktop.

Теперь вы импортировали и преобразовали исходную таблицу. Файлы решения
C01E01 - Solution.xlsx и C01E01 - Solution.pbix можно загрузить на сайте по адресу:
https://aka.ms/DataPwrBIPivot/downloads.

Описанное здесь упражнение помогает в решении обширного спектра задач по об-
работке данных, которые наверняка вам встретятся. В дальнейшем речь пойдет
о преодолении различных проблем, возникающих при обработке данных.

52 Глава 1

Резюме

В данной главе вы ознакомились с возможностями Power Query. Вы немного узна-
ли об истории этого программного продукта, а также о том, каким образом он пре-
вратился из исследовательского инструмента в распространенную технологию под-
готовки данных в Excel, Power BI, службах аналитики, CDS и PowerApps. Ко вре-
мени выхода в свет этой книги, вполне вероятно, Power Query станет еще более
известным благодаря новому веб-интерфейсу, который можно будет интегрировать
во многие решения и службы при обработке стеков Microsoft. В первом упражне-
нии этой книги вы импортировали таблицу, а также узнали о некоторых базовых
преобразованиях.

В следующей главе показано, каким образом можно решать основные задачи по
подготовке данных в редакторе Power Query, который позволит экономить значи-
тельное время и избегать повторяющихся операций при подготовке данных.

476 Глава 14

8. На панели Запросы (Queries) выберите запрос Correct. Затем на вкладке Глав-
ная (Home) выберите раскрывающееся меню Объединить запросы (Merge
Queries) и после этого выберите команду Объединить запросы в новый
(Merge Queries as New).

9. После открытия окна диалога Слияние (Merge) внесите следующие изменения:

а. В таблице Correct, удерживая нажатой клавишу <Ctrl>, выбирайте столбцы
Date, Color, Supplier Category, Supplier Name, Custom Category и City. Обяза-
тельно сохраняйте порядок следования столбцов.

б. В раскрывающемся меню под таблицей Correct выберите запрос Compro-
mised. В таблице Compromised, удерживая нажатой клавишу <Ctrl>, выби-
райте столбцы Date, Color, Supplier Category, Supplier Name, Custom Category
и City. Обязательно сохраняйте порядок следования столбцов.

в. В раскрывающемся меню Тип соединения (Join Kind) выберите пункт
Антисоединение справа (только строки во второй т таблице) (Right Anti
(Rows Only in Second)) и щелкните мышью на кнопке OK для закрытия окна
диалога Слияние (Merge).

10. Переименуйте новый запрос в Hacker’s Instructions.

11. Выберите столбец Compromised и удалите все другие столбцы.

12. Извлеките все поля в столбце Compromised.

13. Найдите сообщение хакера.

14. Загрузите запрос Hacker’s Instructions в вашу рабочую книгу Excel или Power
BI Report.

Файлы решения C14E02 - Solution.xlsx и C14E02 - Solution.pbix доступны на сайте
https://aka.ms/DataPwrBIPivot/downloads.

См. также
Дополнительные запросы по сравнению таблиц найдите в следующих постах блога:
https://datachant.com/downloads/compare-tables-excel-power-bi/
https://datachant.com/2017/08/10/compare-tables-excel-power-bi-part-2/.

Резюме

Теперь, завершив финальный проект, вы официально стали опытным специалистом
по обработке данных. С помощью редактора Power Query Editor вы сможете суще-
ственно влиять на ваш бизнес и даже за его пределами. В этом проекте вы задейст-
вовали ряд навыков, включая добавление нескольких рабочих книг и рабочих таб-
лиц, выполнение расширенных операций по свертыванию и отмене свертывания
столбцов, применение пользовательских функций и сравнение наборов данных
с помощью операции слияния.

Эта книга рекомендуется в качестве справочного руководства. Сохраните образцы
работ для дальнейшего использования.

Заключительный проект: объединяем все вместе 477

Вы найдете их полезными в дальнейшем, когда будете решать новые проблемы.
И хотя ваши наборы данных могут полностью отличаться от данных, приведенных
в этой книге, вы постепенно поймете, как повторно использовать методы и расши-
рить имеющиеся решения применительно к вашим конкретным проблемам с дан-
ными.

Изучение Power Query — это непрерывный процесс. Для того чтобы совершенство-
вать свои возможности по обработке данных, рекомендуется продолжать изучение
неупорядоченных наборов данных в Power Query и ставить перед собой новые за-
дачи. Сейчас можно вернуться к главе 9 и просмотреть, какие компоненты языка М
или синтаксиса вы понимаете лучше и как можно использовать этот язык для рас-
ширения запросов на основе пользовательского интерфейса.

Со времени написания книги и до настоящего момента вы, скорее всего, обнаружи-
ли новые функции и возможности Power Query в Excel и Power BI, а также новые
случаи использования, когда Power Query может сэкономить сотни часов. Настало
время узнать, как можно воспользоваться новыми возможностями для обработки
данных в таких продуктах, как Microsoft Analysis Services, Microsoft Flows и Power
Apps, которые теперь также включают Power Query. Ваше путешествие только на-
чалось. Надеюсь, оно вам понравится.

Предметный указатель

A E

API Endpoint 415
◊ Cognitive Services Text Analytics 414
◊ Graph Facebook 443 H
◊ Microsoft Translator Text 396
◊ Text Analytics 398 HTTP-запрос 396
◊ Translator Text 402
Azure Cognitive Services 395 J

JSON 403, 420

Б З

База данных AdventureWorks 55 Запись 162, 274, 295
◊ значение 274
В ◊ ключ 274

Вкладка И
◊ главная 42
◊ добавление столбца 43 Иерархия
◊ преобразование 43 ◊ N×M 214
◊ просмотр 43
◊ файл 42 К
Внешнее соединение слева 139
Выражение 275 Ключ 295
◊ each 306 Ключ/значение 162
◊ let 277 Ключевая фраза 431
◊ извлечение 431
Д Ключевое слово 354
Команда
Декартово произведение 359 ◊ импорт из папки 113
Детализация 161

Предметный указатель 479

Л Прагматика 186
Предварительное добавление 159
Лента 42 Преобразование
Ловушка ◊ 2×2 199
◊ измененных типов 119 ◊ заполнение вниз 236
◊ переименования столбцов 119 ◊ условный столбец 236
Локальная настройка 87 Промежуточный итог 206
Локальный файл
◊ ошибка при доступе 242 Р

М Рекурсия 309
Родительская категория 156, 157
Мастер
◊ текст по столбцам 54 С
Мера DAX 197
Модель данных 91 Сведение в столбец 231
Семантика 186
Н Синтаксис 186
Службы Microsoft Azure Cognitive Services
Нормализация столбцов 132
393
О Соединитель 38, 47
◊ Facebook 440
Область доступа 280 Сохранение контекста 156
Обработка ошибок 307 Социальный граф 440
Общий итог Столбец
◊ удаление 198 ◊ привязки 189
Объединение ◊ условный 169
◊ двух таблиц 100 Строка формул 40, 44, 268
◊ трех и большего числа таблиц 107
Оператор списка 292 Т
Отмена
◊ свертывания других столбцов 190 Таблица
◊ свертывания столбцов 189, 190 ◊ несоответствующая 124
◊ поиска 61
обобщение последовательности пре- ◊ фактов 61
образований 217 Таблица преобразования 135
◊ транспонирование 137
П Текстовый канал 393
Тип данных
Панель ◊ Null 289
◊ запросы 40, 43 ◊ время 286
◊ параметры запроса 40, 44 ◊ дата 287
◊ примененные шаги 40, 44, 64 ◊ длительность 287
◊ просмотра 40, 41 ◊ запись 295
Поле ◊ логический 290
◊ столбцов 212 ◊ сложный 291
◊ строк 212 ◊ список 291
Последовательность ◊ табличный 298
◊ объединения 139 ◊ текстовый 288
◊ Фибоначчи 309 ◊ числовой 285
Постдобавление 168

480 Предметный указатель

Транспонирование 138 ◊ ВПР 61
◊ обратное 141 ◊ времени 286
◊ выбора 294
Ф ◊ вызов 305
◊ генератора 294
Формула ◊ информационная 294
◊ Table.TransformColumnNames 132 ◊ объявление 284
Функция ◊ операция над множествами 294
◊ Facebook.Graph 442 ◊ подставить 57
◊ FnUnpivotSummarizedTable 219 ◊ пользовательская 303
◊ List.Accumulate 311 ◊ преобразования 294
◊ List. Contains 448 ◊ принадлежности 294
◊ List.Difference 334 ◊ столбец из примеров 69
◊ List.Generate 310 ◊ упорядочения 294
◊ List.InsertRange 334
◊ List.PositionOf 178, 179 Ш
◊ Record.X 298
◊ Table.Buffer 366 Шаблон Power BI 245
◊ Table.Column 152
◊ Table.ColumnNames 120, 319 Я
◊ Table.ReorderColumns 332
◊ Text.Trim 377 Язык
◊ Web.Contents 406 ◊ динамическое обнаружение 435
◊ арифметическая 294 ◊ формул М 44, 267

Power Query в Excel
и Power BI: сбор, объединение
и преобразование данных

Power Query — это инструмент для продвинутого О книге
бизнес-анализа, предназначенный для подключения
к источникам данных и их преобразования. Теперь Для всех работающих
для обработки таблиц и подключения к данным с информацией, аналитиков данных
больше не нужны сложные формулы и макросы. и всех пользователей Excel,
Power Query встроен в Excel, Power BI и другие про- решающих собственные задачи
дукты Microsoft. Ведущий эксперт по Power Query бизнес-аналитики
Гил Равив поможет вам избавиться от трудоемкой
подготовки данных вручную, научит быстро получать Об авторе
данные практически из любого источника и сразу
же на месте приводить их к нужному вам виду. Вы ГИЛ РАВИВ получил официальное
решите несколько полных аналитических задач и за- признание Microsoft за поддержку
крепите полученные навыки в реальном финальном пользователей на платформе
проекте длиной в главу. Прочитав книгу, вы будете Microsoft Data Platform. В качестве
готовы обрабатывать любые данные и превращать старшего менеджера программы
их в полезные знания. Microsoft Excel руководил разработкой
и интеграцией Power Query
Простая подготовка и анализ данных с помощью в Excel 2016 и стал специалистом
Power Query в применении M, языка формул Power
Query. Он использовал аналитику
• Быстрая подготовка данных для анализа в Excel и Power BI данных и большие данные для
• Решение типичных проблем подготовки данных с помощью разработки продуктов безопасности,
от расширенного обнаружения угроз
нескольких щелчков мыши и простого редактирования формул до защиты детей в Facebook. Равив
обладает 20-летним опытом работы
• Объединение данных из нескольких источников, нескольких разработчика и аналитика
и имеет четыре патента в США.
запросов и несовпадающих таблиц В настоящее время пропагандирует
Power Query на DataChant.com.
• Базовые и продвинутые методы отмены свертывания столб-
Электронный архив к книге можно
цов (Unpivot) скачать по ссылке https://www.
microsoftpressstore.com/powerquery
• Настройка преобразований и создание гибких гибридных при-
Дополнительные сведения
ложений с помощью языка формул M и системные требования
содержатся во введении.
• Решение проблем совместной работы с помощью Power Query
• Получение важной информации о текстовых каналах Изображение на обложке Малоси Доло
• Заключительный проект, объединяющий и закрепляющий

полученные навыки