Добро пожаловать на неделю 03!

Наша третья неделя будет посвящена асанам присоединения к данным. Удобное присоединение к источникам дает возможность провести хорошую дата-медитацию.

Без данных нет визуализаций. Именно понимание данных освобождает ум от психических блоков, приводит к большей ясности и позволяет принимать обоснованные решения, приводящие к действенной выгоде.

В этот раз, мы погрузимся в мир данных через работу с продуктом Tableau Prep. Этот мир позволит вам манипулировать данными без написания какого либо кода и вам даже не нужно знать SQL чтобы делать потрясающие преобразования и обработку ваших данных. Визуальное программирование и гистограммы на лету покажут вам наполнение данными вашего источника, и вы мгновенно понимаете как устроены ваши данные.

В фокусе этой недели - поиск способов упрощения работы с датасетами, ускорения многих базовых операций Tableau за счет использования функций Tableau Prep'а. Будем обмениваться способами как предоставить доступ к данным для большого количества людей и сохранить применение экспертных знаний в предметных областях.

Мы также, продолжим обмен опытом с коллегами, в Телеграм-чате @tableau_chat по темам, актуальным на этой неделе. Ориентируемся на максимальную практичность диалога и на применение лучших практик работы в Tableau.

Воспользуйтесь переходом на основные темы недели ниже.

Предлагаем обсудить принципы Дата Йоги, поделиться практиками и подходами к быстрому пониманию дата сетов в Телеграмм комьюнити в течение этой недели – ищите чат по имени @tableau_chat

Давайте познакомимся с отдельным продуктом Tableau для подключения к данным и посмотрим на его возможности на базовом уровне. Мы также изучим пример создания потока работы с данными и разберем основные концепции.

Tableau Prep – дружелюбный инструмент ETL (Extract, Transform, Load), который позволяет предварительно подготавливать и очищать данные, чтобы убедиться, что они готовы к анализу в Tableau Desktop.

Практически всегда наши данные требуют некоторой подготовки и преобразования от первоначального состояния для анализа. Часто, мы хотим объединить их с дополнительными источниками данных, и только потом начать работать над общим источником данных. Эти задачи могут быть выполнены в Tableau Desktop, но не в полной мере – их реализация непосредственно в Tableau Desktop может замедлить скорость работы рабочей книжки или усложнить удобство взаимодействия с данными. Tableau Prep позволяет нам выполнять все эти задачи, которые уже доступны на Tableau Desktop, но гораздо более простым и понятным способом, а также очень легко копировать и выполнять эти шаги в будущем с другими источниками данных и делиться ими с другими.

Как продукт в линейке Tableau, Prep состоит из двух продуктов: Tableau Prep Builder для построения потоков данных и Tableau Prep Conductor для совместного использования потоков на сервере и управления ими во всей организации.

Предлагаем вам скачать пробную версию Tableau Prep на 14 дней и ознакомиться с его возможностями на нашем Марафоне.

Существует множество конкурирующих инструментов для очистки и подготовки данных – ведущими вендорами являются Alteryx, Talend или Informatica, а также инструменты, связанные с конкретной средой, такой как службы интеграции SQL Server (Microsoft), Business Objects Designer (SAP) или Infosphere (IBM).
Что делает Tableau Prep уникальным?

Во-вторых, интерфейс Tableau Prep такой же интуитивно-понятный и визуальный, как и у всей линейки продуктов Tableau. Prep предлагает очень простой набор инструментов для управления данными. На любом этапе есть 7 возможных «шагов с данными», которые можно добавить в рабочий процесс.

Некоторые инструменты предлагают сотни различных операторов для создания иерархий, геокодирования адресов, выполнения сложных фильтров и API вызовов. Как и Tableau Desktop, Prep выбирает более минималистичный подход.

И конечно, в-третьих, Prep быстро справляется с большим объемом данных, а интеграция с сервером Tableau позволяет автоматизировать выстроенные потоки работы с данными на постоянной основе.

В чем заключается принцип работы Tableau Prep?

Процесс в Prep выстроен в формате потока (flow) и начинается с подключения к исходным данным из файлов или баз данных. Подключиться можно сразу к нескольким источникам данных в одном потоке. Перетаскивая нужные таблицы в главное окно, вы добавляете их в поток этого приложения, и можете проводить дальнейшие операции.

Среди всех операций, вам доступны:

• Удаление строк, колонок или их добавление при помощи вычислений
• Фильтрация
• Группировка значений, причем несколькими способами (на основе "произношения", на основе количества общих букв и так далее)
• Агрегация данных к высшему уровню – например, суммирование продаж к уровню магазинов или городов, чтобы совпадать с поставленным планом
• Очистка данных – удаление цифр, букв, пунктуации, лишних пробелов
• Джойны таблиц – соединение таблиц по ключевому полю (joins)
• Юнионы таблиц – объединение таблиц одинаковой структуры (unions)
• Преобразование столбцов в строки и наоборот (pivot)
• Разделение полей по разделителям (split)
• Изменение неточностей в данных – переименование полей и их значений
• Поиск выбросов в данных и их удаление

Каждый шаг в потоке будет отражен в блок-схеме на главном экране или в списке действий внутри шага. Можно вносить изменения в любой точке программы на любом этапе работы. Можно также отменить любое из сделанных действий или поменять его логику.

Когда вы закончили настраивать поток, то он запускается и все сделанные операции применяются ко всему набору данных.

Описание интерфейса tableau prep →

Нажатие одной кнопки на ненужном поле в контекстном меню – и поле скрыто и больше не добавляется в основной поток данных. При этом, всегда можно отменить это действие в истории этого шага.

Как и в Tableau Desktop, достаточно нажать на пиктограмму типа данных, чтобы поменять его тип. При этом, дата хорошо распознается из многих исходных форматов. А если Tableau не смог ее "прочитать", то вы можете использовать функцию DATEPARSE.

Как мы уже писали, в Prep есть группировка значений категорий по нескольким признакам.
+ Ручная группировка – Manual selection – полностью зависит от вас, и работает также, как группировка в Desktop
+ По "произношению" – Pronunciation – движок Prep отбирает созвучные написания, т.е. "Air" и "Aero" могут быть объединены в одну группу.
+ Общие символы – Common Characters – значения, которые пишутся практически одинаково.
+ Написание слов – Spelling – то, каким образом пишутся значения.

Самое важное, что вы можете просмотреть все группировки, которые сделал Prep и изменить ту или иную группу. Более того, в некоторых вариантах, вы можете выбрать степень "похожести", по которому проходит объединение – т.е. насколько придирчиво нужно вести себя программе для отбора подходящих строк.

Для очистки значений в Prep есть несколько способов приведения данных к единому виду: приведение всех значений в верхний или нижний регистр, удаление пунктуации, чисел, символов. Например, мы можем удалить из поля названия фигурные скобки...

... а затем и цифры. А следующим шагом – лишние пробелы.

Кроме того, в Prep вы можете задавать абсолютно любой тип соединения двух таблиц.

1. Понимайте с чем работаете

Прежде чем загружать данные, важно осознать и разобрать, с чем вы работаете. Изучите историю данных, каким контекстом они обладают. Это необходимо для того, чтобы вы знали как дальше производить очистку данных – например, какие столбцы вам понадобятся, а какие можно исключить.

2. Определите размер выборки

Когда вы подключаетесь к большому источнику данных, вы, скорее всего, захотите ограничить его выборкой, чтобы увеличить скорость работы и подготовки данных и оптимизировать производительность вашего компьютера. Если выборка не поможет вам решить задачу подготовки данных, вот несколько вещей, которые вы можете попробовать:

• Увеличьте размер выборки. Вернитесь на первый шаг загрузки источника и измените количество строк для сэмпла. Вы можете увеличить количество строк или включить все данные, но помните, что это может снизить скорость работы приложения. Еще одно предостережение заключается в том, что использование фиксированного количества строк возвращает то, что исходная база данных использует в качестве критериев для быстрого способа возврата запрошенных строк (т. е. это не обязательно означает верхние 1000 строк в базе данных).
• Используйте случайную выборку. По умолчанию Tableau Prep рассчитает оптимальное количество строк для показа в зависимости от общего количества полей в источнике и типов данных полей. Случайная выборка происходит на уровне базы данных, показывая количество запрошенных строк. База данных просматривает каждую строку и возвращает сформированный сэмпл. Эта опция также может влиять на производительность и зависит от источника данных.
• Добавьте фильтр. Добавляя фильтр на этапе загрузки, вы гарантируете, что данные, которые вставляются в ваш поток, имеют отношение к вашему анализу. Это дает вам более репрезентативную выборку, а также помогает с производительностью

3. Изучите данные

Во-первых, вы, скорее всего, захотите увидеть уникальное количество значений в заданном поле. В приведенном ниже примере, рядом с названиями названием полей, вы увидите число значений в этом столбце. Вы также захотите узнать, как связаны разные значения, чтобы была возможность выявлять отличия или проблемы с данными. В приложении Tableau Prep вы можете использовать подсветку для обнаружения связей между полями. Когда вы нажимаете на значение в панели профиля, оно сужает представление сетки данных, чтобы отображать записи, которые имеют эти значения в указанном поле. Tableau Prep подсвечивает значения полей и окрашивает связанные значения синим цветом.

4. Удалите ненужные данные

Чтобы оптимизировать общую производительность процесса подготовки данных, ограничьте поля, которые загружаете в Tableau Prep, добавив туда только те, которые вам понадобятся для анализа.

Фильтрация ваших данных также экономит время в процессе и гарантирует правильность анализа. Например, если вы знаете, что вам нужно всего лишь просмотреть данные о продажах за последние два года, отфильтруйте поле даты на этот временной интервал с фильтром диапазона или относительной даты. Так же могут появится несоответствующие или неверные данные, которые вы захотите удалить. Смело исключайте их из дальнейшего анализа.

5. Пересмотр и очистка

В Tableau на ваш анализ будут влиять типы данных – и важно правильно определить каждое поле перед началом. Хотя вы и можете редактировать псевдонимы, изменять типы данных, разделять поля и выполнять вычисления в таблице, намного проще выполнить эти действия заранее, особенно при создании набора данных для кого-то другого.

6. Определите конечный результат данных.

Когда вы начнете подготовку данных, возможно будет сложно определить, что должно быть на выходе. Скорее всего, вам понадобится объединить несколько источников данных вместе или развернуть данные из столбцов в строки, чтобы Tableau мог правильно оценить их.

Один из способов решения данной проблемы – представить, как должна выглядеть панель данных в Tableau Desktop.

Если вам нужно объединить две таблицы, у вас есть выбор в использовании соединений (joins) или объединений (unions).

Соединения (joins). Соединение нескольких таблиц из одного источника в одну необходимо для составления "полной картины". СУБД используют соединения для того, чтобы сопоставить строки одной таблицы строкам другой таблицы.

Объединения (unions). Когда вы создаете джойны, вы комбинируете две или больше таблиц, добавляя столбцы. Когда вы создаете юнион, вы комбинируете таблицы с данными, добавляя строки, то есть новые значения тех же столбцов. Чтобы сделать юнион, у вас должны быть данные одной внутренней структуры.

При джойнах и юнионах двух таблиц обратите внимание на уровень детализации. Чтобы правильно объединить их, вам может потребоваться изменить уровень детализации при помощи шага агрегации.

Дополнительные советы

+ Создавая новые шаги для определенного действия, делайте их аккуратно и вдумчиво. Вы упорядочиваете файлы по назначению, что облегчает будущий поиск. Аналогичным образом, шаги в потоке должны группировать набор изменений, которые относятся к конкретной задаче.

+ Не забывайте о выборочных проверках данных. Важно, чтобы вы понимали, что происходит с данными, когда вы чистите и вносите в них изменения. На каждом этапе вы можете сделать выгрузку результата в Tableau Desktop и проверить работу.

+ Используйте визуальные возможности Prep на полную. В программе много пиктограмм-подсказок, контекстных меню, превью данных, схем и цветовых обозначений. Обращайте на них внимание, чтобы было легче разбираться с продуктом.

На этой неделе мы предлагаем каждому участнику Марафона проанализировать данные конструкторов Lego.

История культового бренда Lego берет свое начало в маленькой столярной мастерской датского поселка Биллунд в 1932 году. Ее основатель — простой плотник Оле Кирк Кристиансен — пытался свести концы с концами, изготавливая гладильные доски, стремянки, стулья. А затем, в 1934, началась история развития современного бренда.

Сегодня во Вселенной LEGO — десятки миров, сотни наборов, тысячи персонажей. К игрушкам прибавилась успешная серия кинофильмов. Каждую секунду в мире продаётся семь комплектов LEGO, датские наборы побывали даже в космосе — в 2011 году астронавты захватили 13 комплектов на МКС. История продолжается, появляются всё новые и новые серии, наборы, персонажи.

Главное, что все кубики, произведенные с 1958 года до наших дней, совместимы – вы можете взять детали из набора 1960-х и спокойно использовать их в современном комплекте.

• Сколько кирпичиков LEGO производится каждый год? В минуту компания выпускает более 80 000 кирпичиков.

• Сколько кирпичиков выпущено за всю историю существования LEGO? Компания выпускает кирпичики с 1958 года, то есть на сегодняшний день уже сделано более 650 миллиардов. Это примерно по 90 штук на каждого человека на земле.

• Сколько наборов LEGO изготавливается в год? Количество зависит от года и сезона. Например, в США ежегодно запускается примерно 130 новых наборов. Тут лучше сказать о продажах. Каждую секунду в мире продается 7 конструкторов LEGO.

• В какой стране продается наибольшее количество наборов LEGO на человека? Номером один для рынка LEGO остается Германия. По сути, LEGO является крупнейшей игрушечной компанией в этой стране. Больше всего в Германии любят серии «LEGO Technic» и «LEGO City». США – это второй по величине рынок для нашей продукции. Здесь отдают предпочтение сериям «BIONICLE» и «LEGO Star Wars».

Мы предлагаем вам сделать свое исследование по кубикам Lego!

Данные запакованы в архив и содержат несколько таблиц, которые описывают детальки, из которых состоят разные лего-наборы. Одна деталь – один элемент. У каждого элемента есть свой инвентарный код, цвет, наименование, набор, а у каждого набора есть своя тематика. Таблиц много, но в них небольшое количество столбцов. Ниже мы привели описание каждого датасета и ключевые поля для связи.

Если что, то приходите в чат за помощью: @tableau_chat

А теперь – к заданиям, которые нужно сделать в Tableau Prep.

Цвет в визуализациях – это не просто форматирование их внешнего вида, а инструмент влияния на ваше восприятие визуальных работ, отношение к ним, запоминаемость и эмоции. Исследования показывают, что разные свойства цвета (оттенок, хрома, насыщенность) способствует различным эмоциональным впечатлениям в визуализации данных. Эти исследования приходят к выводам, как можно использовать разные цвета для достижения эмоциональной выразительности в визуализации данных.

Люди реагируют как эмоционально, так и когнитивно на визуальные образы: это важно в визуализации для поддержки коммуникации, взаимодействия, вовлечения и, в последствии, решении проблем.

НАЧНЕМ С ОСНОВ
Цветовой круг – основа теории цвета. В кругу есть базовые цвета: красный, желтый и синий, а вторичные и третичные цвета находятся между каждым из трех основных цветов.

Существует много разных схем по составлению цветовых палитр на основе цветового круга. В целом, такая категоризация позволяет специалистам подбирать любые цвета и сочетания цветов, основываясь на гармонии цветового круга.

Комбинации цветов по разным паттернам называются цветовыми гармониями. Цвета могут иметь близкие друг к другу оттенки, например, как в аналоговой триаде. Или же быть абсолютно противоположными, как в комплементарной гармонии. Напоминает ли вам что-то эти два комплементарных цвета?

Эта одни из основных, стандартных цветов из базовой палитры Tableau. Выбраны таким образом, чтобы быть максимально контрастными друг к другу и быть различимыми.

На самом деле, палитры, которые создавались в Tableau, имеют научную природу и несколько исследований в их основе. Ниже на скриншоте показана оранжевая палитра, которая варьируется от светло-оранжево-коричневого до темно-коричневого. Обратите внимание, что оттенок коричневого такой же, как и у оранжевого, но он кажется коричневым, потому что он темнее и с меньшей насыщенностью цвета. Фактически, любой желтый, оранжевый и красный цвета могут выглядеть коричневыми, манипулируя их яркостью и насыщенностью цвета. Расходящиеся палитры прослеживают два пути через нейтральный центр.

Обратите внимание, что эти пути – линия последовательности точек – не являются прямыми. Различия в оттенках и цветах, которые заставляют их идти под углом, также делают их более визуально эффективными.

В целом, категориальные палитры имеют тенденцию содержать несколько различных оттенков и диапазон значений яркости. Полноцветный круг, такой как Tableau 10, является хорошим значением по умолчанию, поскольку цвета визуально очень различимы и соответствуют простым названиям цветов, таким как красный, синий, фиолетовый и коричневый. Чтобы создать палитру Tableau 20, мы используем светло-темные пары этих основных цветов.

ПСИХОЛОГИЯ ЦВЕТА

Если вам нужна помощь в выборе цвета для дизайна визуализации, подумайте, что означает каждый цвет. Думать о цвете таким образом не всегда будет необходимо, но если ваш дизайн тематический, использование психологии цвета может помочь вашей визуализации вызвать эмоциональный отклик у аудитории. Вот краткая психология каждого цвета согласно книге Терри Маркса и Тины Саттон «Цветовая гармония»:

КРАСНЫЙ – самый яркий цвет в спектре. Он не только выражает такие эмоции, как волнение, сила и страсть, но и выводит объекты на первый план. Красный – хороший выбор, если вы хотите проиллюстрировать историю в ваших данных четко.

ЖЕЛТЫЙ – самый видимый цвет и является синонимом счастья. Желтое также имеет преимущество стимулирования ясного мышления. Доказано, что использование желтого фона с темным шрифтом способствует удержанию. Подумайте об использовании такой комбинации, когда вы хотите, чтобы ваша аудитория запомнила один основной момент из вашей визуализации.

ОРАНЖЕВЫЙ, как и красный, является одновременно цветом с высокой энергией и высокой видимостью. Даже в небольших количествах оранжевый может помочь передать предупреждающие сигналы, что делает его хорошим выбором для KPI, которые работают ниже ожидаемых. Оранжевый цвет также нравится детям, подросткам и спортсменам, поэтому примите во внимание этот цвет, если вы работаете с любой из этих аудиторий.

ЗЕЛЕНЫЙ считается самым физически расслабляющим и успокаивающим цветом в спектре. Он стал глобальным символом безопасности, поэтому неудивительно, что зеленый цвет обычно ассоциируется с положительными значениями в корпоративных оценочных карточках.

СИНИЙ самый любимый из всех цветов. Этот цвет обычно воспринимается как положительный, что делает его альтернативным выбором для положительных значений. Синий имеет дополнительное преимущество в том, что он дружелюбен к дальтоникам. Используйте более темные оттенки синего, чтобы привить чувство лояльности, надежности и целостности.

ФИОЛЕТОВЫЙ, особенно темные оттенки оттенка, источает роскошь. Но будьте осторожны с этим - исследования показали, что люди справляются с пурпуром меньше, потому что он поощряет мечтать!

РОЗОВЫЙ, отталкивает агрессивность и обладает успокаивающим эффектом. Этот цвет, вероятно, лучше всего подходит для тематической визуализации, но в определенных ситуациях он также может быть хорошим выбором для передачи положительных результатов или, по крайней мере, в соответствии с ожиданиями.

КОРИЧНЕВЫЙ. Было доказано, что коричневый облегчает жизнь потребителей и считается цветом вне времени. Он также тесно связан с землей, что делает его идеальным для визуализаций, связанных с окружающей средой.

СЕРЫЙ имеет много схожих с коричневым качеств, но считается менее теплым, когда используется один. Использование его в качестве дополнительного цвета может помочь привить чувство зрелости и связанной с этим надежности.

Использование цвета может помочь истории в ваших данных запомниться. Цвет может добавить уровень профессионализма в любой проект и даже вызвать определенные эмоции у зрителей. Использование цвета – это один из самых простых способов повысить качество визуализации данных.

Эта книга обогащена такими функциями, как работа с экстрактами, продвинутые вычисления, геопространственный анализ и создание дашбордов. Она поможет вам сориентироваться в захватывающих манипуляциях с данными, рассказыванием дата историй, расширенной фильтрацией, экспертной визуализацией и методами прогнозирования с использованием реальных примеров. От базовых функций Tableau до сложного развертывания в Linux. Кроме того, вы найдете тут расширенные возможности Tableau, используя R, Python и различные API. Вы узнаете, как подготовить данные к анализу, используя Tableau Prep.

Что вы еще можете узнать из книги:

Понимать базовые и продвинутые навыки Tableau Desktop. Как внедрить лучшие практики визуализации, построения дашбордов и рассказывания историй. Изучите расширенную аналитику с использованием встроенной статистики. Развертывание многоузлового сервера в Linux и Windows. Работа Tableau с Hadoop, Athena и Spectrum. Встроенные функции Cover Tableau для прогнозирования с использованием пакетов R . Объединение, формирование и очистка данных для анализа с использованием Tableau Prep

Итоги третьей недели

Обсудили работу с Tableau Prep и потренировались использовать инструментарий Tableau для преобразования данных. Ответили на вопросы заданий, объединив разрозненные файлы. Вдохновились работой с цветом и полистали исследования Tableau в этой области. Для выполнения задания проверили гипотезы и задали новые вопросы к лего данным. Третья дата-медитация с более сложным датасетом позволит Вам найти интересные инсайты и поделиться ими в комьюнити. До встречи в чате или до начала новой темы. Виз виз урррааа!