Bi приложения. Современные Business Intelligence (BI) системы на примере IBM Cognos BI

вы слышали про инструмент Power BI от Microsoft ? Среди интернет-маркетологов сейчас это самая горячая тема. Все хотят работать с этим сервисом, но мало кто умеет. Наш эксперт Рустам Гизатуллин познакомит вас с Power BI, покажет его возможности и варианты применения для решения повседневных задач.

Что такое Power BI от Microsoft?

Безусловно, в одной статье невозможно описать все возможности Power BI. Но после прочтения вы сможете понять, интересен вам этот продукт или нет.

Итак, Power BI — это решение от Microsoft состоящее из десктопного приложения Power BI Desktop, мобильного приложения Power BI Mobile, WEB-сервиса Power BI Service.

Power BI позволяет:

• подключаться к разнообразным источникам данных,
• обрабатывать эти данные,
• представлять данные в виде удобных интерактивных отчётов.

Проще говоря, с помощью Power BI вы можете забрать данные из Excel, SQL базы данных, Яндекс. Метрики и вообще откуда угодно. Потом эти данные обобщить, вычислить новые метрики и представить их в виде различных визуализаций: таблиц, матриц, графиков, диаграмм, гистограмм и т.п.

Вот пример отчёта, созданного с помощью Power BI:

Как работает Power BI?

Для примера рассмотрим создание отчёта на основании данных из Google Analytics и Яндекс. Метрики.

Для подключения к источникам данных, обработки данных и создания отчётов нам потребуется приложение Power BI desktop. Скачать его вы можете

Power BI по умолчанию умеет подключаться ко всем самым распространённым источникам данных: файлам, базам данных, сервисам веб-аналитики, социальным сетям, CRM-системам и т.д.

При этом вы можете воспользоваться сторонними коннекторами, написанными под Power BI. Для примера я воспользуюсь коннекторами для подключения к Яндекс. Метрике и Google Analytics от Максима Уварова.

Забрав данные, я их предварительно обрабатываю: указываю тип для каждого поля, фильтрую, удаляю лишние столбцы и т.п.

Таким образом, я получил исходные данные из систем аналитики и посчитал недостающие метрики. Теперь на их основе я могу создавать различные визуализации.

3. А теперь самое интересное, ради чего все это затевалось, — создание визуализаций для анализа данных.

Используя встроенный набор визуализаций, вы можете создать различные интерактивные отчеты. При этом вы можете отобразить как данные, полученные при импорте, так и новые метрики, подсчитанные на основе исходных данных.

Загрузив созданную BI систему в WEB-сервис, вы получите доступ к созданным отчётам из браузера, мобильного приложения либо сможете опубликовать отчёт в открытом доступе.

Выводы и комментарии

1. Если вы постоянно работаете с данными, сводите данные из различных источников, при этом данные операции никак не автоматизированы, то Power BI — это то, что доктор прописал.

2. Освоить работу в Power BI можно самостоятельно. Вам в помощь следующие ссылки:

• отличное

На сегодняшний день, одной из важных задач, с которыми мы сталкиваемся в процессе работы, является задача правильного и красивого предоставления данных. Мы стремимся превратить безликие цифры в интересные и информативные материалы, оживить свои отчеты и презентации. Более того, объем данных, поступаемых в мозг человека, увеличивается с каждым годом, поэтому, наряду с получением любых результатов нам необходимо правильно их обработать и структурировать.

С чего мы начнем?

Для начала, нам необходимо установить Power BI . Инструмент Power BI доступен в качестве отдельного приложения Power BI Desktop) или на портале powerbi.com . Наше знакомство с Power BI начнется с Power BI Desktop – в нем мы сначала обработаем данные, создадим по ним отчет, а затем загрузим его на портал.

Power BI + Facebook. Что интересного хранится в группе?

В качестве группы, данные которой мы будем анализировать, я выбрала

Лидирующими программами для самостоятельной бизнес-аналитики долгое время являлись Tableau и Qlik , которые уже больше десяти лет работают в этой сфере. С 2014 года к лидерам присоединился Microsoft, выпустив Power BI . С тех пор Power BI постоянно улучшается и сейчас он составляет сильную конкуренцию и для Tableau, и для Qlik.

В Tableau уже явно занервничали и начали сравнивать свой сервис с Power BI в своих маркетинговых материалах. Недавно они создали презентацию под названием “Слабые стороны Power BI” (ссылка), включающую такие пункты:

• Колебания значений ограничены на графиках диапазоном в 3 500 точек
• Сложно делать расчёты в Power BI без изучения языка DAX
• Встроенные диаграммы не имеют прогнозирования (для этого пользователям нужно знать язык R)
• Всплывающие подсказки нельзя кастомизировать
• Данные не могут быть сгруппированы в процессе работы
• Нет возможности использовать чью-то информационную панель как отправную точку для дополнительного анализа
• Сложно добавлять описания к информационным панелям
• Сложно исследовать альтернативные сценарии из-за невозможности вводить/изменять данные прямо на информационной панели Power BI.

В Microsoft сразу же отреагировали на критику Tableau. “При сравнении двух продуктов, всегда можно найти свойства, которыми обладает только один з них и их не хватает другому, — говорит Amir Netz, технический специалист Microsoft Business Intelligence, для Computer World, — Учитывая это, я был приятно удивлён, увидев список отличий. Tableau потребовалось приложить много усилий, чтобы найти их. То, на что они указали — это даже не свойства, а определённые отличия в некоторых свойствах, часть из которых уже устранена и многие другие находятся в разработке”.

Microsoft также отметили 10 преимуществ Power BI над Tableau:

• Встроенные драйвера для десятков источников данных, позволяющие компаниям легко подключаться к ним
• Информационные панели, которые объединяют важные визуализации на высшем уровне
• Запросы на естественном языке для исследования данных и создания новых визуализаций
• SAAS BI корпоративного класса, включая подключение к локальным данным
• Обработка данных, согласно информации Microsoft, от 10 до 100 раз быстрее, чем в Tableau
• Доступны пользовательские визуализации, которые используют открытую платформу (платформа Tableau — закрытая)
• Интеграция с Cortana, Excel и обновление данных в режиме реального времени;
• Быстрый автоматический анализ данных
• Встроенный инструмент ETL (extract, transform and load)
• Модель данных, которая поддерживает большое количество таблиц и более сложные взаимосвязи между ними. (Tableau, согласно информации Microsoft, поддерживает только простые модели данных).

Знакомство с Power BI

Что такое Power BI?
В первую очередь хочу уточнить, что Power BI это не часть Excel, а самостоятельная программа для бизнесс-анализа, которую надо будет установить на ПК отдельно. Но оно того стоит. Сам Power BI включает в себя большой набор инструментов, позволяющих обработать и отобразить всю необходимую информацию о любых показателях компании (и не только) при помощи интерактивной визуализации. Проще говоря – при помощи Power BI можно легко и быстро, без длительного обучения и спец.навыков создать красивые интерактивные графики на основании практически любых данных. Сейчас очень модно называть такие наборы визуализаций «дашбордами»:

Пара вещей, которые надо знать о Power BI в первую очередь:

Сам Power BI делится на три приложения (хоть устанавливать надо только одно):

• Power BI Desktop – основное приложение, в котором создаются отчеты
• Power BI Service (служба Power BI) - интернет-площадка, в которую помещаются все созданные отчеты и отправленные на публикацию в службу
• Power BI for Mobile – приложение для смартфонов и планшетов, позволяющее просматривать опубликованные в службе Power BI отчеты

Что необходимо сделать и знать, прежде чем начать работать в Power BI

• Для начала надо установить приложение Power BI Desktop, т.к. именно в нем готовятся все отчеты. Скачать его можно по ссылке: https://powerbi.microsoft.com/ru-ru/desktop/
• Как только начнется скачивание потребуется ввести свои данные, включая e-mail. Этот же e-mail надо вводить при первом запуске и регистрации приложения. Обращаю особое внимание, что e-mail должен быть корпоративным. Т.е. никаких там [email protected], [email protected], [email protected] и пр. Иначе вполне может получится так, что отчет создать получится, а опубликовать его уже нет
• После установки и регистрации можно приступить уже к созданию своих первых отчетов в Power BI

После запуска Power BI появится основное окно. Для начала достаточно просто уметь ориентироваться в рабочих областях. На скрине ниже я постарался выделить основные рабочие области этого окна


Кнопка вызова меню – раскрывает меню с доступом к основным командам и настройкам, таким как Публикация, Импорт и Экспорт, Сохранение, Справка, выход из учетной записи Power BI и пр.

– на вкладках этой панели распределены основные инструменты для работы с запросами и визуальными элементами

Навигация по областям - основной областью является область визуализаций(первая сверху иконка), в которой строятся все визуальные отчеты. Но так же можно переходить в представление таблиц для просмотра данных и изменения определенных параметров полей(Типы данных, Сортировка, Добавление столбцов и мер и пр.) и в визуальное представление связей между таблицами. Здесь же можно настроить связи.

Визуализации - эта наверное одна из главных областей данного окна. Именно здесь расположены кнопки создания непосредственно графиков(они называются визуальными элементами). Нажатие на иконку, отражающую примерный вид визуального элемента автоматически добавляет такой элемент в рабочую область визуализаций.

Фильтры - данная область позволяет создавать фильтрацию данных, попадающих в визуальный элемент. Например, имея в таблице данных информацию по Доходам и Расходам, можно при помощи фильтров строить визуальный элемент только по расходам или только по доходам. Область фильтров в свою очередь делится на три раздела:

• Фильтры уровня визуального элемента - помещенные сюда фильтры распространяют свое действие исключительно на тот визуальный элемент, к которому относится этот фильтр
• Фильтры уровня страницы - помещенные сюда фильтры распространяют свое действие на все визуальные элементы той страницы, к которой относится этот фильтр
• Фильтры уровня отчета - распространяет свое действие на все визуальные элементы всех страниц отчета

Поля - здесь перечислены все поля всех таблиц запросов. Именно на основании данных в этой области строятся визуальные элементы. Добавление данных из полей в визуальный элемент или область фильтров производится обычным перетаскиванием мыши.

Чуть ниже рабочей области есть еще область навигации по листам , где можно добавить в отчет новый лист, переименовать или удалить существующие.

При создании любого запроса(вкладка Главная -Получить данные ) появится еще одно из основных окон – окно запросов. Для тех, кто работал в Power Query из Excel там вряд ли найдется что-то новое, т.к. Power BI полностью перенял работу с запросами именно от Power Query:

Кнопка вызова меню – раскрывает меню с доступом к основным командам, таким как Закрыть, Сохранить, а так же настройкам источников данных

Ribbon-панель с набором команд – как можно догадаться, это основная рабочая зона, т.к. именно на этой панели на вкладках(Главная, Преобразование, Добавить столбец, Просмотр) распределены основные инструменты для работы с запросами и данными

Область запросов – здесь перечислены все запросы, загруженные в текущую модель данных. Имена запросов можно изменять: либо двойным щелчком на имени запроса в Области запросов, либо в Панели свойств текущего запроса .

Область предварительного просмотра – здесь отображается предварительный просмотр вида данных, которые будут загружены в модель после всех наших действий. С её помощью можно наглядно видеть результирующий набор данных и выявлять ошибки.

Строка формул (Панель формул) – здесь отображается текст последнего произведенного действия с запросом. Отображается текст на встроенном языке M и его можно прямо в этой строке изменить. Отобразить или скрыть её можно с вкладки Просмотр -Панель формул .
Панель свойств текущего запроса – здесь собраны свойства выбранного запроса. Можно изменить имя запроса, а если раскрыть пункт Все свойства, то так же можно дать описание запроса и не включать запрос в обновление данных(по умолчанию все загруженные в модель запросы обновляются одной кнопкой Обновить из главного окна Power BI).

Панель выполненных в запросе операций (Примененные шаги) – очень удобная штука. Здесь отображаются по шагам все примененные в запросе действия: начиная от загрузки данных и завершая последним преобразованием. Если какую-то операцию в запросе сделали по ошибке или просто ошиблись параметрами – можно просто удалить последний шаг(или несколько). Можно сказать, что эта возможность заменяет собой откат действий в офисных программах(Ctrl +Z ). Так же очень удобно, чтобы подучить синтаксис языка M – можно пошагово посмотреть какая операция как обзывается на этом языке. Так же весь текст запроса можно посмотреть, перейдя на вкладку Просмотр -Расширенный редактор .

Кратко о процессе работы в Power BI:

• сначала входные данные загружаются в модель и подготавливаются (приводятся в удобный для построения визуализаций вид) при помощи Power Query
• далее на основании подготовленных данных обычным перетаскиванием без сложных манипуляций выстраиваются диаграммы и прочие визуальные отчеты
• созданные отчеты загружаются в облако, где уже другие пользователи могут посмотреть эти отчеты с браузера или из мобильного приложения

При этом работать в Power BI можно без наличия программерских навыков – для создания визуализаций хватит и «кнопочного» функционала программы и встроенных формул DAX (Data Analysis Expressions - выражения анализа данных), которые очень похожи на формулы в Excel. Но и для более продвинутых пользователей есть где развернуться – в Power BI есть «свой» язык программирования M, который позволяет неплохо расширить стандартные возможности. Плюс есть возможность создавать свои отдельные визуальные элементы при помощи редактора сценариев R. И под своими визуальными элементами я подразумеваю именно свои, авторские, уникальные визуализации, а не просто какие-то смешанные диаграммы (наподобие таковых в Excel). Кто не умеет или не хочет создавать сам – копилка таких авторских элементов постоянно пополняется на сайте Power BI: https://app.powerbi.com/visuals/

Кому подойдет Power BI?
Microsoft считает, что Power BI будет полезно небольшой, средней или крупной компании. Я считаю, что такое приложение необходимо всем, кто так или иначе занимается аналитикой данных и построением всевозможных отчетов.

Таблица характеристик и отличий базовой версии и Pro:

{"Bottom bar":{"textstyle":"static","textpositionstatic":"bottom","textautohide":true,"textpositionmarginstatic":0,"textpositiondynamic":"bottomleft","textpositionmarginleft":24,"textpositionmarginright":24,"textpositionmargintop":24,"textpositionmarginbottom":24,"texteffect":"slide","texteffecteasing":"easeOutCubic","texteffectduration":600,"texteffectslidedirection":"left","texteffectslidedistance":30,"texteffectdelay":500,"texteffectseparate":false,"texteffect1":"slide","texteffectslidedirection1":"right","texteffectslidedistance1":120,"texteffecteasing1":"easeOutCubic","texteffectduration1":600,"texteffectdelay1":1000,"texteffect2":"slide","texteffectslidedirection2":"right","texteffectslidedistance2":120,"texteffecteasing2":"easeOutCubic","texteffectduration2":600,"texteffectdelay2":1500,"textcss":"display:block; padding:12px; text-align:left;","textbgcss":"display:block; position:absolute; top:0px; left:0px; width:100%; height:100%; background-color:#333333; opacity:0.6; filter:alpha(opacity=60);","titlecss":"display:block; position:relative; font:bold 14px \"Lucida Sans Unicode\",\"Lucida Grande\",sans-serif,Arial; color:#fff;","descriptioncss":"display:block; position:relative; font:12px \"Lucida Sans Unicode\",\"Lucida Grande\",sans-serif,Arial; color:#fff; margin-top:8px;","buttoncss":"display:block; position:relative; margin-top:8px;","texteffectresponsive":true,"texteffectresponsivesize":640,"titlecssresponsive":"font-size:12px;","descriptioncssresponsive":"display:none !important;","buttoncssresponsive":"","addgooglefonts":false,"googlefonts":"","textleftrightpercentforstatic":40}}

Чтобы создавать понятные отчеты и обновлять их в режиме реального времени современному бизнесу необходим мощный сервис для обработки информации. В комментариях к моим предыдущим читатели неоднократно просили написать мануал по работе с Microsoft Power BI. В этой статье я расскажу, как начать работу с данной платформой.

Кратко о возможностях Microsoft Power BI

Power BI — достаточно мощная и при этом бесплатная BI-платформа. Microsoft вкладывает много средств в развитие этого продукта, в связи с чем часто выходят обновления, расширяющие ее возможности. Вы можете использовать такие версии программы:

• Power BI Desktop предназначен для разработки модели данных и отчетов;
• Power BI Service — онлайн-аналог, который специализируется на мониторинге и анализе готовых отчетов, поэтому возможности конструирования и работы с данными там очень ограничены.

Как правило, декстопная версия используется в качестве конструктора, после чего разработанный файл публикуется в Power BI Service . Для дальнейшей работы скачайте Power BI Desktop по этой ссылке .

Для пользователей Microsoft Windows 10 есть отдельная версия Power BI Desktop, которую вы можете найти, перейдя по этой ссылке.

Откуда можно загружать данные?

Power BI имеет множество встроенных коннекторов к различным сервисам и базам данных, с помощью которых вы в считанные минуты можете загрузить в программу нужный набор данных из различных источников, связать их между собой и построить консолидированные отчеты и диаграммы. На момент написания статьи все доступные коннекторы распределены на четыре группы:

1. Группа «Файл»:

Как видите, в Power BI можно импортировать данные из наиболее известных баз данных и сервисов, используя различные форматы файлов. После загрузки информации из доступных источников в Power BI, перед вами открываются большие возможности по очистке и преобразованию данных, в связи с тем, что в платформе присутствует достаточно мощный ETL функционал. Загружаемые таблицы можно редактировать, а на основе их столбцов создавать расчетные столбцы и меры — таким образом вы можете преобразовать массивы информации в наборы данных со структурой, необходимой для построения визуализации.

Сформировав набор данных, загруженных из различных источников, вам станут доступны множество встроенных элементов визуализации:

• линейчатая диаграмма с накоплением;
• гистограмма с накоплением;
• линейчатая диаграмма с группировкой;
• гистограмма с группировкой;
• нормированная линейчатая диаграмма;
• нормированная гистограмма;
• график;
• диаграмма с областями;
• диаграмма с областями с накоплением;
• линейная гистограмма и гистограмма с накоплением;
• линейная гистограмма и гистограмма с группировкой;
• каскадная диаграмма;
• точечная диаграмма;
• круговая диаграмма;
• диаграмма дерева;
• карта;
• таблица;
• матрица;
• заполненная карта;
• воронка;
• датчик;
• многострочная карточка;
• карточка;
• ключевой показатель эффективности;
• срез;
• кольцевой график;
• визуальный элемент r-script (на данный момент включается в параметрах программы).

Все элементы имеют достаточно широкий спектр настроек, направленных на изменение нужных параметров: цвет, фон, название, границы и так далее. Если вам будет недостаточно стандартного набора, можно загрузить пользовательские визуальные элементы.