Добро пожаловать на неделю 02!

Наша вторая неделя будет посвящена ступени благодеяний.

В этот раз, мы рассмотрим подходы к практикам самосовершенствования и саморазвития, которые помогут всем участникам задействовать проверенные стратегии организации работ с воркбуками в Tableau и выстроить для себя траекторию наращивания собственных компетенций работы с данными.

В фокусе этой недели – задействование скрытых ресурсов коммьюнити профессионалов Tableau для решения множества социальных задач, в которых обработка и визуализация данных являются наиболее критичными элементами.

Мы также продолжим обмен опытом с коллегами, в Телеграм-чате @tableau_chat по актуальным темам этой недели. Ориентируемся на максимальную практичность диалога и на применение лучших практик работы в Tableau.

Так как количество материала на этой странице рассчитано на целую неделю, то лонгрид получился объемным. Воспользуйтесь переходом на основные темы недели ниже.

НАШЕ ВОСПРИЯТИЕ ДАННЫХ

Часто мы считаем, что видим данные "правильно", и исходя из этого принимаем решения и совершаем те или иные поступки. Впоследствии оказывается, что на самом деле мы обманываем самих себя и что наши действия причиняют вред нам самим или окружающим. Или сомневаясь, мы можем ничего не делать, в то время как на самом деле наши действия принесли бы пользу. Нам недостает правильного видения и понимания наших данных. Часто, такие две крайности нашего опыта являются совокупным результатом механистических действий и механистического восприятия, которое мы накопили за много лет. Плохие привычки работы с данными затемняют чистоту нашего ума. Цель датайоги избавить вас от поверхностного понимания, чтобы вы могли действовать правильно и решительно и ваши действия приносили вам пользу.

ПОСТОЯНСТВО И ИЗМЕНЕНИЯ

Со временем все меняется – ситуации, наше отношение к ним, мы сами, устаревают накопленные нами данные. Мы не должны отчаиваться из-за этого.
Регулярное занятие датайогой предполагает, что таким образом мы сможем научиться присутствовать в каждом конкретном моменте работы с данными, в каждом аспекте управления информационными потоками и в результате достигать того, чего не могли достичь прежде. Мы постепенно повышаем свою способность к концентрации и к независимости. Мы улучшаем отношение с окружающими и все что мы делаем.

На этой неделе мы хотим предложить для обсуждения еще три принципа датайоги, которые позволят лучше понять отношение каждого участника Марафона к саморазвитию, самодисциплине, а также к идее реализации проектов для широкой общественности.

Предлагаем обсудить эти принципы, поделиться практиками и подходами к быстрому пониманию датасетов в Телеграмм в течение этой недели – ищите чат по имени @tableau_chat

На первом этапе очень эффективным является работа со структурированной Базой Знаний вопросов и ответов, а также с удобным набором онлайн документации, которая позволяет быстро находить ответы на вопросы.

+ Сервис Tableau Public позволяет людям со всего мира, из разных отраслей и компаний, делиться своими работами. Большинство опубликованных на Паблике работ можно скачать на свой компьютер и открыть книжку, в которой были сделаны визуализации. Так можно разобрать все элементы для понимания механизмов, подходов и используемых данных. Используйте этот эффективный способ.

+ Тысячи партнеров по всему миру, и талантливые эксперты по визуализации данных, фрилансеры и дата-журналисты, сотрудничают с Tableau и делятся своими наработками и открытиями по использованию продукта. Лучшие блоги и ресурсы мы собрали в библиотеку и они будут доступны для вас из наших подборок. Отслеживание публикуемых там статей и материалов даст вам возможность применять проверенные методы в вашей профессиональной сфере.

+ Новейшие издания книг появляются каждый год и быстрое ознакомление с ними – это один из наиболее системных форматов для обучения. Все книги сильно отличаются по аудитории, на которую рассчитаны, по сферам применения, по подаче материала и множеству других параметров. Мы пополняем для вас библиотеку книг из открытых источников для персонального некоммерческого использования. Будем рады поделиться своими комментариями и рецензиями, а также сделать ссылки на наиболее интересные и практичные работы.

Сколько бы вы ни читали статей, только живое общение с экспертами позволит вам соединить все точки вместе, системно взглянуть на ваш опыт и разработать следующие шаги для повышения мастерства. Вы можете выбрать как онлайн форму обучения с обратной связью на таких площадках как Coursera, Udemy или Pluralsight, так и очные формы проводимые самим Tableau или партнерами.

И самое главное – практика. Берите свои данные, открытые данные или задания текущего марафона и пробуйте делать шаги самостоятельно.

+ Работайте в Tableau каждый день
Постоянная практика позволит вам уже через год оказаться на конкурсе визуализации на время Iron Viz – как это сделал победитель летней конференции Tableau 2018, опыт которого составлял на момент конкурса чуть больше года. На текущий момент, страны СНГ не могут принимать участие в Iron Viz, но следить за этим мероприятием точно стоит. А прокачивать свои навыки можно в таких проектах как #MakeoverMonday.

На прошлой неделе мы учились понимать данные в Tableau, разбираясь с возможностями инструмента по изучению мер и измерений. На этой неделе – учимся организации порядка внутри рабочей книжки Tableau и своего рабочего места.

Часто бывает необходимо создать "системное" вычисляемое поле, которое нужно, например, для промежуточных расчетов. Советуем сохранять такие вычисляемые поля по единому шаблону в названии – например, с использованием одного символа в начале названия – "__Расчет сортировки" или "__Текущий год". Тогда эти поля будут визуально расположены рядом и не будут перемешиваться с исходными полями из источниками данных. Как альтернативный вариант, можно группировать системные поля просто в отдельную папку ("Системные вычисления").

При написании вычислений в окне редактора сбоку есть справочной меню. Вы наверняка знаете – это меню со списком всех доступных функций и их описанием. Но, если вы, в процессе работы с вычислениями, просто кликните на любое из уже написанных полей, то Tableau покажет в правом блоке справку и по этому полю. В частности, если взято просто поле из источника данных, то Tableau покажет тип данных выбранного поля.
Если вы кликните на уже рассчитаное поле в источнике данных, то Tableau покажет формулу расчета из выбранного поля. Это удобно, чтобы вспомнить, что же насчитано в этом поле.

Иногда возникает необходимость еще раз использовать формулу вычисления или посмотреть на значения выбранного поля. Нажимая кнопку Describe, тут же, в окне вычисления, мы получаем уже знакомое окно с формулой, которую можем скопировать.

Комментарии пишутся двойным слэшем и бывают только однострочные. Удобно добавлять в комментарии один из прошлых или альтернативных способов расчета показателя, "для справки".

Кстати, используя скролл на мышке, можно увеличить масштаб текста в вычислении.

По правому клику на вкладку в рабочей книжке в Tableau можно задать ее цвет, как в Excel. Цветовая кодировка вкладок позволяет быстрее ориентироваться в книжке при большом количестве листов. Есть несколько подходов к раскраске вкладок:

• Раскрашивать воркшиты по принципу принадлежности к тому или иному дашборду
• Функционально разграничивать контент. Например, если взять книжку по обучению Tableau, то вкладки, на которых объявляется переменка в обучении всегда красные, а там где даны практические задания – всегда синие.

Цвета вкладок →

Также, цвета можно применять для обозначения статуса готовности вкладок. Например:

• Все серые, без цвета – не измененные листы
  
• Синие – мы что-то уже поменяли, но не до конца
• Зеленые – полностью готовые листы и визуализации, которые можно публиковать

Кстати, выбор любых объектов в Tableau, в том числе и вкладок, можно сделать при помощи сочетания клавиш ctrl или shift – принцип такой же как и в других приложениях. При этом серая заливка вкладки становится более светлой, обозначая текущий выбор.

При большом количестве вкладок, воспользуйтесь способом создания нового листа из контекстного меню текущей вкладки. Правая кнопка на текущий лист → создать рабочий лист. Тогда, новый лист появится справа от вкладки. В противном случае, новый лист появился бы в самом конце, после всех существующих листов. И его было бы не удобно искать.

Если вы используете контекстное меню на выбранном объекте – то новый объект создатся справа от него.

При большом количестве вкладок, вы не запомните содержание каждой из них. Переключитесь на другой способ отображения вкладок в самом правом углу нижней строки, например filmstrip (кинолента, т.е. вкладки с превью), либо же в режим сортировки листов или в режим еще более общего просмотра.

Просмотр рабочих листов →

Для упрощения навигации, прячьте листы, которые вы уже добавили на дашборд из общего списка, при помощи опции Hide All Sheets. На вкладках останется только "родительский" дашборд. При переходе на спрятанный объект (Go to Sheet), лист автоматически покажется справа от текущего объекта

Просмотр рабочих листов →

Мы советуем вам закрывать рабочую книгу Tableau на пустом рабочем листе, т.е. создать лист, но ничего туда не добавлять. Это несущественное действие ускоряет загрузку визуализаций в Tableau Desktop. При следующем открытии, Tableau откроется на пустом листе и не будет загружать все визуализации разом, таким образом процесс займет меньше времени

Для тех, кто желает контролировать все изменения и отслеживать их, необходимо подключить файлы *.twb к системам контроля версий (кода). *.twb, *.tds файлы формата xml, которые легко поддаются версионности. Вы можете их открывать через текстовые редакторы

Перед сохранением или публикацией книжки, убедитесь что

• у вас не осталось неиспользуемых вычисляемых полей – удалите все лишние
• если делаете экстракт – скройте и на тащите за собой ненужные поля. Это можно сделать при помощи опции Hide all unused fields в контекстном меню панели данны
• избавляйтесь от ненужных источников данных
• тщательно продумывайте названия рабочих листов, чтобы они были понятными по смыслу. Избегайте названий Sheet1, Sheet2...Sheet33

Профессиональное сообщество Tableau огромно. На форуме Tableau каждый день люди задают вопросы и ищут на них ответы разной степени сложности, начиная от базовых вопросов вроде "не получается сделать простое вычисление", до сложных узких тем и редких кейсов.

Конечно, количество людей знающих ответ меньше, чем количество людей, задающих вопрос. Эксперты Tableau стараются отвечать на большинство вопросов, зарабатывают себе очки и получают высокие статусы внутри форумов. Зачем? Это дает им возможность прокачивать свои навыки и не останавливаться в изучении продукта. К тому же, некая "популярность" среди экспертов Tableau повышает их в глазах других таких же экспертов. На конференциях и митапах лучшие эксперты давно друг с другом знакомы лично.

Но не каждый вопрос получает ответ. В Tableau выделили вопросы без ответа в специальный раздел Crow's Nest – Воронье гнездо. Попробуем проанализировать, что за вопросы там находятся. Может быть, стоит ответить на них, помочь людям (ведь даже спустя годы, вопросы могут оставаться актуальными для других пользователей) и заодно, повысить свой рейтинг?

Кратко, последовательность действий будет следующей:

1. Забираем данные из опубликованного виза на странице Tableau форума
2. Загружаем их в Tableau Desktop
3. Анализируем данные и создаем интерактивную историю

ШАГ 1. Сбор данных

У нас есть ссылка на страницу с визуализацией. Ссылка →
Эта визуализация – встроенный дашборд Tableau. Мы могли бы выгрузить данные, которые зашиты внутри интерактивной визуализации при помощи одной кнопки экспорта, которая есть по умолчанию при публикации на сервера Tableau Server/Tableau Online/Tableau Public. Но по ссылке такого тулбара нет, его скрыли.

Наша задача – немного изменить код на странице, чтобы "включить" тулбар с кнопкой выгрузки обратно. Для этого,

1. Правой кнопкой кликаем на страницу → Inspect или Посмотреть код (в Google Chrome)
   
2. Открывается консоль браузера, в которой можно найти контейнер кода с визом
   
3. Находим iframe с ссылкой. Визуализация лежит на сервере demodepot.tableau.com.
4. Забираем эту ссылку и открываем ее в соседнем окне. Сейчас в ссылке прописано много параметров, из которых мы удаляем параметр toolbar=no (или же меняем его на toolbar=yes). Это даст нам возможность включить опцию скачивания данных, которая доступна по умолчанию, но просто была скрыта.
   Ссылка на виз тут

5. Меняем параметр периода на максимально большой, чтобы показать все данные, а не за последние 30 дней. Выбираем все точки на диаграмме → Download → Data → Full Data → Show all columns → Download all rows as a text file. Копируем и сохраняем данные в csv формате.

Шаг 2. Загрузка в Tableau

Стоит отметить, что мы проводили такой кейс в ноябре 2018 года, и тогда к выгрузке были доступны данные с конца 2012 года, т.е. за большой период времени. Сейчас же, при аналогичных действиях, доступны данные только за текущий год.

По нашему опыту отслеживания форума Tableau, было замечено несколько тенденций, которые влияют на то, как эксперты могут помогать людям и отвечать на вопросы.

• Часто люди задают вопрос и больше не возвращаются в свою ветку, чтобы прокомментировать что-то или поблагодарить ответившего. Только есть автор вопроса выбирает один из ответов "правильным", то вопрос считается решенным и автору ответа начисляются баллы. Без обратной связи мотивация решать чужие задачи падает.
• На форуме много людей, которые готовы ответить максимально быстро – это Tableau Ambassadors, Zen Masters, и другие статусные эксперты. С ними очень сложно конкурировать, их ответы привлекают больше внимания.

Основная идея сегодняшнего исследования – как можно мне, как эксперту, помочь людям и быстро набрать баллов, чтобы выйти в топ? При этом, надо быть уверенным, что автор заметит ответ и вернется к нему.

Для этого мы хотим создать простую визуализацию с динамикой количества вопросов без ответа с выбранными полями:

• Community Space Name – название ветки коммьюнити на форуме
• Full Name – полное имя пользователя
• Subject – заголовок
• jivethread.Thread Date Created – дата создания поста
• Messageid – id сообщения
• Threadid – id ветки с вопросом
• Tableau Employee – флаг является ли автор сотрудником Tableau
• Filesize – размер файлов, загруженных в сообщение
• URL to Thread – вычисляемое поля для URL Action и перехода на пост

Смысл большинства из полей был понятен исходя из названия. Однако, пришлось сделать некоторые проверки, например, для дат. В источнике три поля даты Thread Date Created, Create Date, Message сreate вate. Мы сравнивали эти три поля через вычисляемое поле.

Так как во всех строках, где заполнены данные даты мы получили True & Null (где Null значит, что какое-то поле из сравнения не заполнено), смотрим на количество уникальных значений. Есть два поля, в которых количество совпадает: Message create date и Thread Date Created. Можем использовать одно из них – оставляем Thread Date Created.

Также пропишем адрес перехода, который затем будет работать через Action URL. Для того, чтобы перейти на нужный пост, у нас должен быть id его ветки (Thread id), а также ссылка общей части URL, которая будет для всех одинаковой.

Для того, чтобы мы не отвечали на вопросы "впустую", нам нужно убедиться в том, что автор вопроса все еще активен на форумах Tableau. К нашему счастью, датасет содержит поле Last Logged In Date, которое относится к автору. Используя его как фильтр, можно выбрать только те нерешенные вопросы, автор которых появлялся на форуме за последние 60 дней.

Ну что, посмотрим на визуализацию? Переходите по ссылке ниже на Tableau public!

Кстати, на последнем слайде интерактивной истории есть несколько полезных ссылок, которые помогут вам эффективнее задавать вопросы в сообществе, чтобы быстрее получать ответы.

На сайте Tableau есть целый раздел Ideas, в котором каждый участник может предложить свою идею для улучшения любого из продуктов Tableau Software. Идея должна собрать достаточное количество голосов, чтобы команда разработчиков ее "заметила", хотя уверены, они постоянно мониторят этот раздел. Тем не менее, многие из идей берут на реализацию и тестируют – это логичное прислушивание к запросам пользователей.

На этой неделе мы предлагаем каждому участнику Марафона проанализировать датасет с идеями форума Tableau.

Ссылка на страницу идей →

Данные мы скачали также, как и описали в середине лонгрида. Сохранили в формате csv и сформировали дополнительное поле, которое разбивает все идеи на две группы:

1. No Actions – идеи с которыми ничего не произойдет
   
2. Release Cycle – применяя сортировку можем увидеть как идеи воплощаются в жизнь!
   
   • Active
     
   • In Review
     
   • Planned
     
   • Beta
     
   • Released

В качестве опыта по расширению кругозора, предлагаем прочитать нашу небольшую статью про социальные проекты, которые используют данные ради хорошего общественного дела.

Сегодня все большую популярность использования данных набирает сфера общественного блага, охватывающая случаи, связанные с гуманитарной деятельностью. Например, гуманитарные кризисы, глобальное здравоохранение или проблемы экологии и окружающей среды. Растущий интерес к возможностям анализа данных, поддерживаемый ростом технологий больших данных, привел к появлению многочисленных приложений в различных отраслях промышленности и секторах бизнеса.

Осуществление проектов в этой области, основанных на использовании данных, направлено на повышение эффективности и действий в сторону социальных инициатив. Целые организации или просто неравнодушные люди хотят помогать как человечеству в целом, так и отдельным нуждающимся людям в частности.

Однако эта область применения создает свои собственные барьеры и проблемы при разработке проектов, основанных на данных, отставая по сравнению с другими направлениями. Эти проблемы связаны с культурными и политическими барьерами, заинтересованными сторонами и доступными технологическими ресурсами. Зачастую мотивацией к участию в таких проектах являются этические и правовые вопросы, связанные с конфиденциальными данными.

Но число проектов, нацеленных на гуманитарную помощь с использованием данных, растет. Одно из преимуществ такого подхода к поднятию и обсуждению важных вопросов – простота донесения своих выводов при помощи визуальных историй и наглядных диаграмм. Вы поймете о чем идет речь в таких проектах просто посмотрев на результаты их визуализации, не зная языка.

ПРИНЦИПЫ

• анализ данных может быть использован в качестве ориентира при планировании и разработке начальных этапов данных проектов
• все социальные проекты данных должны начинаться с четкого определения социальной проблемы для ее решения или смягчения
• необходимо иметь представление о том, чего можно достичь с помощью данных, что влияет на выявление соответствующих социальных проблем (т. е. формулирование потребностей), которые будут решаться с помощью социальных проектов
• необходимо преодолеть различия в коммуникации различных заинтересованных сторон, что является трудоемкой задачей
• существуют различные типы заинтересованных сторон, которые должны сотрудничать в этих проектах данных: problem holders, data holders, and skill holders
• необходимо собирать и использовать данные аккуратно, иначе этот процесс может нанести ущерб интересам некоторых участвующих организаций
• добровольцы играют важную роль в этих проектах, поскольку многие из них имеют личный опыт, связанный с социальной проблемой, и это мотивирует их к сотрудничеству в поиске решения

Приведем несколько примеров интересных проектов.

Проект Visualize No Malaria
Ссылка на проект

Это новаторская инициатива по решению одной из самых сложных проблем здравоохранения в мире — малярии. К сожалению, в Африке малярия убивает ребенка каждую минуту.

На протяжении последнего десятилетия PATH – социальная организация, цель которой – равенство здравоохранения по всему миру – сотрудничает с правительством Замбии в борьбе с этим заболеванием и его ликвидации. В 2015 году у них появился новый союзник. PATH объединился с общественным фондом Tableau Foundation для запуска проекта Visualize No Malaria—инициативы, направленной на интеграцию новых инструментов и систем для использования данных в поддержку Министерства здравоохранения Замбии в их усилиях по снижению уровня заболеваемости малярией до нуля.

В основе программы лежат данные — в нужных руках нужных людей в нужное время. Когда у кого-то проявляются симптомы малярии, можно не сомневаться, что паразита переносят и его родственники, друзья и соседи.

Под руководством группы экспертов по данным, добровольно отдающих свое время и навыки, разработаны дашборды, которые помогают окружному медицинскому персоналу понять где, когда и на что нужно обратить внимание и вмешаться. Это означает, что при необходимости устанавливаются сетки, дома очищаются от комаров в периоды высокого риска, а дорогостоящие лекарства не заканчиваются на полках.

В южной провинции Замбии использование такого подхода работы с данными привело к резкому снижению смертности от малярии на 92 процента.

Воздействие этого многосекторального подхода выходит за рамки ликвидации малярии в Замбии: в настоящее время инициатива Visualize No Malaria направлена на расширение масштабов усилий по ликвидации малярии в других странах. Эта инновационная модель может также применяться в других областях здравоохранения, выводя методы борьбы с болезнями во всем мире на новый уровень.

Проект по отслеживаю и пониманию изменения климата, описание миграционных процессов в Бангладеш
Ссылка на проект

Фонд Flowminder Foundation собирает и анализирует анонимные данные мобильных операторов, спутниковые данные и данные обследований домашних хозяйств для характеристики и картирования групп риска в странах с низким и средним уровнем дохода. Изменение климата скажется на характере миграции людей. Нынешние глобальные оценки миграции, вызванной экстремальными климатическими явлениями, варьируются в широких пределах – от 50 миллионов до 2 миллиардов человек. С помощью существующих методов обследований трудно дать количественную оценку перемещениям населения, однако новый метод, основанный на данных мобильных телефонов, дает возможность более подробно, чем когда-либо, отслеживать миграционные процессы.

С помощью получаемых, деперсонализированных данных, Flowminder помогает агентствам по оказанию помощи в доставке нужных товаров нужным людям в нужное время.

Таким образом, данные мобильных сетей являются весьма многообещающим источником данных, который дополняет существующие, несколько устаревшие подходы, основанные на опросах. Анализ мобильных данных отлично подходит для мониторинга, интерпретации и реагирования на миграцию в результате изменения климата, как в отношении экстремальных погодных условий, так и постепенных климатических изменений.

Проект от Accenture
ПОСТРОЕНИЕ ЦИФРОВОГО ДОВЕРИЯ: РОЛЬ ЭТИКИ ДАННЫХ В ЦИФРОВУЮ ЭПОХУ
Ссылка на проект

В эпоху цифровых технологий, анализ данных может привести к появлению совершенно новых классов риска. К ним относятся неэтичное или даже незаконное использование инсайтов, усиление предубеждений, усугубляющих проблемы социальной и экономической справедливости, и использование данных в целях, с которыми не согласились бы их первоначальные владельцы, и без их согласия.

Accenture Labs начала исследовательское сотрудничество с ведущими экспертами по этике данных, чтобы помочь сформировать принципы для руководителей безопасности и практиков данных.

Набор универсальных принципов этики данных может помочь специалистам и практикам в области науки о данных в создании Кодекса этики данных, который является конкретным и контекстуальным для их организации или сообщества заинтересованных сторон:

1. Наивысшим приоритетом является уважение лиц, стоящих за данными
   
2. Учет нисходящего использования наборов данных
   
3. Последствия использования данных и аналитических инструментов сегодня определяются тем, как они использовались в прошлом
   
4. Стремление сопоставить гарантии конфиденциальности и безопасности с ожиданиями конфиденциальности и безопасности
   
5. Всегда следуйте закону, но поймите, что закон часто является минимальной планкой
   
6. Будьте осторожны при сборе данных только ради того, чтобы иметь больше данных
   
7. Данные могут быть инструментом как включения, так и исключения
   
8. Насколько это возможно, объясните методы анализа и маркетинга открыто
   
9. Данные ученые и практики должны точно представлять свою квалификацию (и пределы своих знаний), придерживаться профессиональных стандартов и стремиться к подотчетности коллег
   
10. Стремитесь разработать методы, которые включают прозрачность, конфигурируемость, подотчетность и аудируемость
    
11. Продукты и исследовательская практика должны подвергаться внутреннему (и потенциально внешнему) этическому обзору
    
12. Практика управления должна быть надежной, известной всем членам группы и регулярно пересматриваться

Справочник охватывает основные области настольной версии Tableau.
Важно иметь обновленную версию хорошего издания, и эта книга охватывает версии Tableau 2018, что важно. Она также дает ценные советы по работе с расширениями, темам применения Mapbox и WMS для картографирования и геокодирования, покрывает тему LOD-расчетов, что также хорошо. Скорее всего, это хороший учебник и справочник, который вам действительно нужен.

Итоги второй недели

Продолжаем обсуждение принципов Датайоги на ступени благодеяний, делимся практиками и подходами по эффективному выстраиванию работы с воркбуками, нарабатываем портфель ресурсов и ссылок для поэтапного самосовершенствования, практикуемся на подборке идей по развитию Tableau собранного от всего комьюнити профессионалов, работающих с продуктом, проверим гипотезы и зададим новые вопросы к выгруженным данным. Вторая дата-медитация с более сложным датасетом позволит вам найти интересные инсайты и поделиться ими в комьюнити. До встречи в чате или до начала новой темы. Виз виз урррааа!