Дорожная карта по переходу на Yandex DataLens с других платформ

Команда Ёлва

Подпишитесь, чтобы получать новые статьи

Подписаться

Почему появилась необходимость перехода?

Направление Business Intelligence, а также решения, связанные с этим направлением, являются относительно молодыми, так как решают задачи, вызванные накоплением данных в различных отраслях жизнедеятельности людей. Таким образом, высокая потребность в BI аналитике и обработке большого массива данных, была вызвана сбором и накоплением этих данных другими системами, в результате чего появилась необходимость в хранении, обработки и визуализации этих данных. Для этих задач и потребовалась разработка BI систем.

Одним из лидеров BI решений стала компания Microsoft со своим продуктом Power BI, который стал логическим эволюционным продолжением другого продукта вендора – Microsoft Excel. Таким образом, Power BI взял все лучшее из Excel, обрел много дополнительного функционала для решения BI-задач и стал полноценным BI продуктом, который обрел популярность во всем мире.

Также Power BI составляют конкуренцию и другие популярные решения, такие как Tableau, Qlik и другие, каждый из которых имеет свой уникальный функционал и рассчитан для решения определенных задач, но их объединяет то, что все эти решения созданы для того, чтобы выполнять BI-аналитику, а пользователь мог работать с готовыми результатами этой аналитики (дашбордами).

С момента своего появления BI-решения стали популярны повсеместно, в том числе и в России. И немногие задумывались о том, что самые популярные BI-решения имеют иностранные корни, что может повлечь за собой какие-либо ограничения, связанные с санкциями. В связи с тем, что Россия по многим аспектам жизни всегда старалась быть ориентирована на импортозамещение, в том числе и в IT отрасли, крупные IT компании занимались разработкой собственных отечественных BI продуктов. Одна из таких компаний – это компания Яндекс, один из лидеров в цифровом сегменте по предоставлению различных цифровых сервисов в России. В апреле 2019 года компания Яндекс представила свой сервис бизнес-аналитики и визуализации данных под названием DataLens, который позволяет работать с данными из различных источников и визуализировать их для последующего анализа и принятия решений. На самом деле, сервис появился еще раньше и использовался для внутренних проектов компании Яндекс, тем самым обкатывался на пользователях и обрастал функционалом, а в апреле 2019 года стало понятно, что продукт можно выпустить в открытый доступ для всех пользователей в качестве одного из сервисов инфраструктурной платформы Yandex Cloud. Нужно отметить, что DataLens является инструментом для визуализации, но это не означает, что в нем нет возможностей по хранению и обработке данных, за эти возможности отвечают другие сервисы Yandex Cloud.

В связи с уходом из России импортных решений в начале 2022 года многие компании столкнулись с необходимостью перехода на отечественные платформы, в том числе это коснулось и BI-решений. В связи с этим, одним из популярных продуктов на который компании стали переходить является DataLens.

Что такое DataLens?

DataLens – это полностью бесплатный облачный сервис BI-аналитики с простым пользовательским интерфейсом и лаконичным дизайном. К тому же DataLens очень активно развивающийся продукт: только за лето 2022 года было выпущено более 7 крупных обновлений, причем в первую очередь добавляется функционал, который очень ждут большинство пользователей. Для предложений и отслеживания необходимых доработок, Яндекс реализовал специальный форум, в котором каждый пользователь может оставить пожелание по улучшению продукта, а другие пользователи могут проголосовать за это пожелание. В результате, функционал, который набирает большинство голосов, ставится в ближайшую очередь к последующим обновлениям. Сервис является облачным, развернут на инфраструктуре Яндекса и не требуют никаких вычисляемых мощностей со стороны пользователя системы.

Как можно перейти на DataLens?

С точки зрения первичной настройки и дальнейшего обслуживания пользователем сервис является очень простым благодаря интуитивно понятному пользовательскому интерфейсу. Также имеется подробная документация по началу работы с сервисом. В рамках статьи мы рассмотрим основные шаги, которые необходимо проделать, чтобы мигрировать с любого другого BI решения в DataLens.

Сервис является полностью облачным и доступен в составе решений, поставляемых в Yandex Cloud. Для доступа у вас должна быть учетная запись Яндекса и регистрация в Yandex Cloud, после чего вы можете получить доступ к сервису DataLens по короткой ссылке datalens.yandex.ru. Перейдя по ссылке, вы попадаете на главную страницу сервиса DataLens, на котором изображены основные шаги, которые необходимо пройти при работе с инструментом: создать подключение, настроить датасет, подготовить чарты и разместить чарты на дашборде. Таким образом, при разработке BI решения на DataLens необходимо настроить всего 4 элемента, которые выполняются шаг за шагом перед тем, как получить необходимый результат в виде собранного красивого дашборда.

Рис 1. Основные шаги создания дашборда в DataLens

Настройка подключения

Традиционно первым этапом работы с любым BI-решением является создание подключения к источнику данных, на основе которых будут строиться визуализации. Для создания подключения прямо из главной страницы, необходимо нажать на «создать подключение». В результате перехода в окно создания подключения перед пользователем открывается список возможных источников, которые можно настроить для работы с DataLens. В качестве источников имеются не только коннекторы к различным популярным базам данных, но и коннекторы напрямую к учетным системам (например, Битрикс24).

Рис 2. Возможные источники для подключения в DataLens

При выборе нужного источника необходимо указать учетные данные для доступа к этому источнику и установить соединение. После этого подключение необходимо сохранить и теперь его можно использовать на следующем этапе – подготовка датасета.

Подготовка датасета

После создания подключения мы переходим к созданию датасета. Давайте разберемся что же такое датасет? Датасет – это определенные правила того, по каким принципам источники и таблицы взаимодействуют между собой, какие данные эти источники содержат и какие вычисления на основе этих данных производятся.

Рассмотрим интерфейс подготовки датасета.

Рис 3. Настройка источников в датасете

Первая вкладка – это источники, тут производится настройка взаимодействия таблиц между собой. Настройка связей производится обычным перетаскиванием таблицы на полотно поверх той таблицы, с которой необходимо выполнить связь. В результате образуется соединение таблиц, которое при необходимости можно отредактировать, кликнув на него.

В результате добавления таблиц и создания связей между ними, в датасете появилась своего рода витрина данных, то есть сводная таблица, которая образовалась в результате объединения. Эту таблицу можно увидеть внизу окна,, она служит для предпросмотра получившегося результата объединения. Настройки этой таблицы, связанные с изменением имени полей, созданием вычисляемых полей и группировок, а также скрытием ненужных полей осуществляются на вкладке «поля». Давайте перейдем к ней и рассмотрим возможный функционал.

Рис 4. Настройка полей в датасете

На вкладке полей отображены все поля, которые возникли в результате объединения таблиц источников и интерфейс работы представлен в виде таблицы. Через кнопку «добавить поле» можно создать дополнительное поле с каким-либо вычислением на языке запросов Datalens. Вычисления могут быть от простых арифметических операций между полями или условий до функций преобразования названия региона в координаты.

В столбце имя можно отредактировать имя, которое автоматически пришло из базы данных.

В соседнем столбце описан источник поля, тут можно увидеть из какой таблицы пришло поле и какое имя в базе данных оно имеет. Это поле является справочным и не подлежит редактированию

Затем идет тип поля. Этот столбец нужен для того, чтобы присваивать определенные типы различным полям. Это очень важно, ведь тип влияет на отображение данных и применение к ним каких-либо вычисляемых операций (например, сложить две даты или два целых числа – это операции одного действия, но имеющие под собой разную логику вычислений).

Также в этом разделе можно конкретным полям указывать агрегацию на уровне датасета. Например, если мы понимаем, что столбец ID_Лида у нас служит для того, чтобы отображать количество уникальных лидов в датасете, то мы можем поставить этому полю агрегацию подсчета количества уникальных значений. По умолчанию агрегация не установлена, но при размещении поля в качестве показателя на визуализации, автоматически будет устанавливаться агрегация в виде суммы.

И последний столбец – описание. Он служит для добавления какого-либо текстового комментария относительно поля. Это очень удобно, если вы хотите зафиксировать какую-то информацию о том, зачем нужно поле, в чем его особенность или какую информацию оно содержит и в каких сценариях может быть использовано.

После того, как датасет подготовлен, можно его сохранять и переходить в следующий блок настроек инструмента DataLens – подготовка чартов.

Подготовка чартов

Рядом с кнопкой сохранить в настройках датасета есть кнопка «создать чарт», можно на нее кликнуть и перейти в интерфейс по созданию чартов. В левой части экрана необходимо выбрать датасет, на основании которого чарт будет строиться. После того как датасет выбран, в левой части экрана отображаются все измерения и показатели, в том числе и вычисляемые поля, которые датасет содержит. Затем продвигаясь немного правее мы переходим к настройкам самой визуализации. Наверху, где написано название диаграммы, мы можем выбирать необходимую диаграмму из стандартных представленных в Datalens. Кликнув на название текущей диаграммы, открывается список возможных диаграмм.

Рис 5. Перечень возможных диаграмм DataLens

Выбрав необходимую диаграмму, конструктор диаграммы отображает те элементы настроек, которые свойственны данному виду диаграммы. Например, выбрав чарт линейная диаграмма, необходимые настройки, которые характерны для этой диаграммы – это измерения по Y и показатели по X. Соответственно, для диаграммы карта, в первую очередь потребовались бы координаты отображаемых на карте точек. Присоединение элементов данных на диаграмму осуществляется простым перетаскиванием значений в соответствующее поле настройки диаграммы. На рисунке представлена построенная линейная диаграмма.

Рис 6. Подготовленная линейная диаграмма в чарте

По Y указаны причины отказа из нашего датасета, а по X указан сгруппированный числовой показатель по количеству лидов, которые имеют соответствующий маркер отказа.

В цветах можно размещать измерение, по которому элемент будет раскрашиваться или цвет можно указать в настройках вручную. В нашем примере мы указали один цвет, но также есть возможность указывать раскрашивание в зависимости от заданного условия (например, окрашивать зеленым, когда план по показателю выполнен, а красным в остальных случаях).

В сортировке, значения на визуализации можно размещать по какому-либо показателю данных, в нашем случае, по количеству лидов в причинах отказа и в качестве настройки сортировки установлено от большего значения к меньшему.

В подписях можно задавать любой показатель, который будет отображать цифру прямо на графике. Это не обязательно может быть показатель, который отображает график, таким образом, можно смотреть взаимное отношение различных показателей по одному измерению.

И последний элемент настроек – это фильтры. Можно установить строгий фильтр на уровне чарта, который будет автоматически влиять на визуализации, вне зависимости от того, выбрано ли что-то в фильтре на дашборде или нет.

После этого сохраняем визуализацию и наш первый чарт готов. Последующие чарты создаются по такому же принципу. Когда все необходимые чарты созданы, можно переходить к финальному этапу – создание дашборда с нашими подготовленными визуализациями.

Создание дашборда

Когда визуализации подготовлены, их можно размещать на дашборд. Дашборд – это полотно, на котором размещаются визуализации и фильтры по определенной логике объединения. Дашборд может состоять из нескольких вкладок, например, дашборд отдела продаж может содержать на одной вкладке данные по продажам продуктов, а на другой вкладке демонстрировать финансовые показатели компании.

Когда дашборд только создан, он не содержит никаких элементов, поэтому их необходимо добавить. Делается это при помощи настроек, которые  можно найти в правом верхнем углу.

Рис. 7. Настройки дашборда

Первое и самое основное, что нас интересует – это кнопка добавить. На дашборд можно добавлять наши подготовленные чарты, размещать селекторы для фильтрации чартов, размещать какую-либо текстовую информацию в виде обычного текста или в виде заголовков. После добавления элемента на дашборд обычным удерживающим кликом мышкой по объекту можно поменять его расположение на дашборде, а также отрегулировать размер каждого элемента. Таким образом, разместив все визуализации, фильтры, а также определив их местоположение и размер, можно получить дашборд следующего вида.

Рис. 8. Настроенный дашборд в Datalens

Обратите внимание на различные типы визуализаций, их внешний вид, а также возможности размещения визуализаций на дашборде. Для фильтрации значений на визуализациях были добавлены фильтры, которые располагаются над визуализациями

Таким образом, мы рассмотрели основной процесс из 4 шагов, который позволяет перенести дашборды из любой другой BI платформы в Datalens. К сожалению, на данный момент нет механизма, который осуществлял бы перенос полностью в автоматизированном режиме без участия специалиста, но есть продвинутый продукт от компании Яндекс с простым пользовательским интерфейсом и подробной документацией, которая позволит в короткие сроки познакомиться с продуктом DataLens и выполнить миграцию с любого другого BI инструмента.

В рамках статьи мы рассмотрели только лишь основной необходимый для начала работы функционал платформы. Безусловно, этим функционалом платформа не ограничивается и есть множество различных настроек и возможностей, с которыми вы можете познакомиться в других наших материалах.

Если у вас остались какие-либо вопросы по миграции с других платформ на DataLens, обращайтесь к нам в компанию Ёлва, и мы с радостью вас проконсультируем.

#BI#ClickHouse#DataLens#PostgreSQL#Power BI

Подпишитесь на наши статьи