Устали от своей роли инженера по обработке данных?

Устали от работы инженера по обработке данных?

Как я перешел в роль аналитического инженера

Несколько лет назад я ощущал неудовлетворение в своей карьере. Я работал в области инженерии данных три года, и изначальный восторг от начала работы в мире технологий угас. Я начинал понимать, что мое увлечение работой не так сильно, как я надеялся.

Я считаю важным следовать своим интересам, независимо от вашего текущего положения, чтобы выяснить, чего вы на самом деле хотите делать. Это может означать преследование хобби в свободное от работы время, которые доставляют вам радость, или участие в различных командах в вашей текущей компании.

Я помню, как мне нравился маркетинг и бизнес-аспекты в колледже, поэтому я решил начать исследовать свои возможности в этой области. Я начал общаться с аналитиками данных, которые ежедневно решают бизнес-проблемы с помощью данных. Они были как инженеры данных, но с гораздо большим бизнес-опытом!

Просила аналитические проекты на данных, я научился пользоваться dbt и дальше развивал свои навыки Python. Играя с новыми технологиями, я понял, что мне все еще нравится работать с данными, я просто должен использовать правильные инструменты и решать правильные задачи. В итоге, это привело меня к поиску другой роли, которая больше соответствовала моим новым интересам и навыкам. Эта роль случайно оказалась аналитическим инженером.

Как понять, что вам стоит перейти в аналитическую инженерию

Многие люди боятся переходить из роли инженера данных в роль аналитического инженера, потому что они не знают, когда наступит подходящее время. Правда в том, что никогда не будет “правильного” времени для чего-либо. Однако, если вы чувствуете себя безынициативным и неудовлетворенным, вы не можете сделать этот выбор слишком рано.

Переход от инженерии данных к аналитической инженерии, вероятно, будет правильным для вас, если вам интересны сами данные, а не создание продуктов, поддерживающих данные. Аналитическая инженерия сильнее ориентирована на клиента, потому что вы используете данные клиентов для ответа на ключевые бизнес-вопросы. Вы больше фокусируетесь на увеличении выручки и получении новых идей, а не на создании вещей.

Это приводит меня ко второму моменту. Если вам нужна более тесная связь с бизнесом и вы хотите принимать решения, способствующие росту компании, аналитическая инженерия может быть подходящим вариантом для вас. Как инженер данных, вам назначают задачи менеджером проекта. У вас не всегда есть возможность влиять на то, что вы решаете или на то, что, по вашему мнению, должно быть приоритетным. Но с аналитической инженерией у вас есть такая возможность.

Как я открыл для себя аналитическую инженерию

Правда в том, что я не знал, что такое аналитическая инженерия, когда я понял, что хочу сменить роль в области данных. Я думал, что мой единственный вариант для работы ближе к бизнесу – стать аналитиком данных. И именно это я и пытался сделать.

Я подавал заявки на множество вакансий аналитика данных, но не имел особого успеха. У меня не было достаточного бизнес-опыта, необходимого для работы аналитика, а также навыков создания правильных панелей инструментов. Вместо фокусировки на названии должности, я начал обращать внимание на роли, которые объединяли навыки, которые я уже имел, и те, которые я хотел научиться.

В конце концов, я наткнулся на роль аналитического инженера. Для этой роли требовались знания SQL, Python, AWS, оркестрации, dbt и хранилищ данных – все навыки, которые я получил как инженер данных. Однако, она также требовала опыта работы с современными инструментами стека данных, коммуникации с бизнес-командами и некоторых основ BI-отчетности.

Хотя у меня не было особого опыта работы с современным стеком данных, мне повезло найти компанию, которая верила в мою страсть и желание учиться. Иногда, если соответствие налицо, компания готова нанять вас даже без всех требований!

Навыки, которые нужно развить перед переходом в аналитическую инженерию

Есть несколько навыков, на развитие которых я потратил время, прежде чем начать искать роль аналитического инженера. Это самые важные навыки, которые помогут вам выделиться среди других кандидатов. Если вы сосредоточитесь на этих трех навыках, я уверен, что вы сможете легко научиться остальным навыкам на рабочем месте, чтобы стать хорошим аналитическим инженером.

dbt

dbt или инструмент для построения данных, является инструментом трансформации данных, который действительно открыл путь для инженеров аналитики. Фактически, компания, стоящая за ним, придумала название “инженер аналитики”! Хотя вам не обязательно знать dbt, чтобы стать инженером аналитики, это навык, которым многие компании интересуются при найме на эту должность.

dbt – это инструмент на основе SQL, поэтому, если вы уже знаете SQL, его довольно легко изучить. Вам нужно будет ознакомиться с настройкой проекта dbt, bewt-практиками моделирования данных и назначением каждого типа модели данных dbt. Я рекомендую ознакомиться со стандартами оформления dbt для получения обзора “что нужно делать” и “чего не нужно делать” при написании SQL-кода в dbt. Это поможет вам узнать стандарты, которые вы, возможно, уже увидите на месте работы.

dbt также использует язык шаблонов под названием Jinja для документации и функций внутри инструмента. Однако, вместо того, чтобы называть их функциями, dbt называет их макросами. Макросы являются более сложной функцией и эквивалентны функциям. Вы можете использовать их для автоматизации SQL-вывода в ваших моделях данных. Хотя это не является обязательным для получения работы, это определенно полезный навык, который облегчит вашу жизнь в качестве инженера аналитики.

Бизнес-коммуникация

Это, вероятно, самый сложный навык для развития и практики в качестве инженера данных. Мы так привыкли говорить техническим языком с другими инженерами, что забываем объяснять вещи простым и понятным способом. Общаясь с бизнес-командами, вам нужно знать, как объяснять технические концепции неспециалистам. Чем проще, тем лучше. Аудитория, к которой вы обращаетесь, почти никогда не будет такой технически подкованной, как вы.

Кроме того, вам нужно понимать деловой жаргон, которым пользуются эти команды. Вы постоянно будете слышать разные метрики, такие как CAC, MRR, NPM и ROI. Убедитесь, что вы знаете, что они означают! Скорее всего, именно поэтому вы создаете модель данных. Вам нужно понимать конечные цели/метрики и данные, которые используются для их расчета.

Построение потоков данных

К счастью для вас, как инженера данных, у вас, скорее всего, уже есть этот навык! Построение потоков данных – это общий навык многих инженеров данных, который также может быть использован как инженером аналитики. Однако, в этом контексте важно знать, как организовать разные модели dbt с разными источниками данных. Вам нужно уметь работать с зависимостями от множества разных систем источников.

Распространенные инструменты для построения потоков данных в аналитической инженерии включают Airflow, Prefect и Dagster. Все они созданы с использованием простого языка Python, еще одного важного навыка для создания потока данных. Выберите один инструмент и ознакомьтесь с ним! Как только вы научитесь одному, скорее всего, сможете изучить и все остальные.

Что я хотел бы знать перед переходом в аналитическую инженерию

Конечно, глядя в прошлое и переходя от инженера данных к инженеру аналитики, есть несколько вещей, которые я хотел бы знать, и которые сделали бы моё путешествие намного приятнее.

Ваши навыки инженера данных будут использоваться каждый день и будут очень ценными.

Переходя от инженера данных к инженеру аналитики, легко подумать, что ваша роль и набор навыков полностью изменятся. Однако существует много общего между аналитической инженерией и инженерией данных! Часто навыки, которые вы приобретаете как инженер данных, становятся вашей самой сильной стороной. Вероятно, вы можете делать то, что другие аналитические инженеры не могут, так что примите это!

Я даже думаю, что это дает вам преимущество перед другими кандидатами при поиске работы, особенно если вы ищете работу в компании, которая только начинает нанимать свою команду данных. Вероятно, они хотят получить максимум пользы за свои деньги и ищут человека, который может делать все немного. Усердный инженер данных, превращенный в инженера аналитики, именно тот человек, который нужен для этой работы!

Вам не нужно знать все с самого начала.

Легко увязнуть в необходимости узнать все сразу. Мне нужно знать, как настроить open-source коннектор данных, такой как Airbyte, прежде чем я подам заявку на эту должность. Мне нужно иметь опыт создания пользовательских макросов в dbt, прежде чем я подам заявку на эту должность. Я не могу подать заявку на эту должность, пока не освою каждый тип оконной функции SQL.

Вместо того, чтобы сосредотачиваться на том, чего вы не знаете, сосредоточьтесь на том, что знаете! Что делает вас уникальным? Почему кто-то захочет нанять вас вместо кого-то другого? Подумайте о вещах, которые нельзя выучить на работе и которые выделят вас из толпы. Индустрия всегда меняется, что означает, что всегда будут вещи, которых вы не знаете. Примите это! Это одна из лучших частей работы аналитического инженера.

Когда я начинал работать аналитическим инженером, я не имел ни малейшего представления о размерном моделировании. Я узнал о нем из документации dbt, когда первый раз экспериментировал с организацией нашего хранилища данных и моделированием данных. В конечном итоге, я смог узнать, что это такое, применить техники в своей работе и улучшить свои навыки моделирования данных. Теперь я могу говорить с вами о размерном моделировании днями!

Никогда не рано начинать искать новые роли.

Если вы несчастны, сделайте что-то с этим. Чем дольше вы сидите в карьере, которая вам не служит, тем больше вы упускаете возможностей для обучения и роста. Каждый раз, когда я менял карьеру, это было потому, что моя работа больше не представляла для меня вызова. Если мы не учимся новому и не растем как личности, мы остаемся теми же. А есть ли что-то хуже этого?

Даже если вы думаете, что у вас сразу нет нужных навыков, вы будете учиться, исследуя свои варианты. Просматривайте разные роли и смотрите, что ищут компании. Какие общие навыки есть в вакансиях? Есть ли что-то, что вам не понравилось бы в роли аналитического инженера? Изучение описаний вакансий – отличный способ это выяснить!

Заключение

Теперь, оглядываясь назад, я не мог сделать более удивительный переход от инженерии данных к аналитической инженерии. Глубоко внутри я знал, что чисто техническая роль мне не подходит. Мне нужно было работать с данными непосредственно, используя их для решения проблем клиентов и бизнеса.

Жизнь слишком коротка, чтобы оставаться в роли, которая вам не приносит полного удовлетворения! Не бойтесь исследовать другие возможности, будь то аналитическая инженерия или нет. Что может случиться худшего? Если вы сделаете скачок и поймете, что это на самом деле не для вас, всегда можно вернуться к прежней роли. Но вы никогда не узнаете, пока не попробуете!