• Digital skills
  • Открытые программы
  • Цифровые профессии 2022

Data Engineer

Государство оплатит от 50% до 100% стоимости курсов

Длительность

299 ак. часов

Уровень

Базовый

1 поток

(набор завершен)
11.07.2022 - 20.12.2022

2 поток

(набор завершен)
29.08.2022 - 28.02.2023

3 поток

(набор завершен)
26.09.2022 - 28.03.2023

4 поток

14.11.2022 - 16.05.2023

Стоимость участия:

90 000 рублей

Программа участвует в проекте «Цифровые Профессии». Государство оплатит от 50% до 100% стоимости курсов

Подробнее о проекте

Тестирование и регистрация на программу без участия в проекте

Задача инженера данных (Data Engineer): работать с огромными массивами данных – собирать, обрабатывать и хранить их правильным образом. Инженер данных обеспечивает инфраструктуру для хранения данных и разрабатывает эффективные правила их автоматизированной обработки, которые требуют меньше ресурсов и снижают потери и сбои, а также формирует условия для сбора информации, которая должна попасть на обработку и последующее хранение. Можно утверждать, что ученый может открыть новую звезду, но не может создать её. Для этого ему пришлось бы обратиться к инженеру. Без инженера по данным математические модели исследователей данных часто не имеют никакой ценности.

На текущий момент только в одной России больше 7 000 компаний находятся в поисках специалистов по Data Science! Средняя зарплата в этой профессии составляет >100 000 рублей и практически не имеет верхних границ.

Почему Data Engineering?

  • Data Engineering – фундамент работы с данными в любой компании
  • Спрос на Data Engineer уже начинает превышать спрос на Data Scientist
  • Порог входа ниже, чем в Data Science
  • Зарплаты не ниже, а часто и выше, чем в Data Science

Программа подойдет:

  • желающим начать свой путь в ИТ: мы дадим нужные знания и умения в SQL, Python и хранилищах данных, автоматизации процессов обработки данных, чтобы вы смогли сделать первые шаги навстречу карьере мечты;
  • аналитикам: вы получите навыки работы с хранилищами данных. Сможете автоматизировать сбор, трансформацию и очистку данных с помощью SQL и Python без разработчиков. Повысите компетенции для перехода в роль data engineer или data scientist;
  • начинающим программистам: набьете руку в сборе, очистке и хранении данных. Сможете дальше развиваться как data engineer или аналитик!
  • специалистам в маркетинге или продукте: Научитесь быстро извлекать нужные данные без помощи разработчиков. Научитесь считать статистику по извлеченным данным без привлечения аналитиков. Научитесь работать с одними из самых востребованных в ИТ инструментами: SQL, Python, Git.

На программе вы научитесь настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python на примерах реальных задач.

Вы будете работать над выпускным проектом, для которого есть два варианта выполнения:

  • взять задачу, заранее подготовленную преподавателями;
  • согласовать собственную тему, например, связанную с работой слушателя.

На проекте, который подготовили преподаватели, слушателей ждет работа с реальными транзакционными банковскими данными. C помощью Python и SQL слушатели реализуют:

  • собственное хранилище данных – DWH;
  • процесс сбора, очистки, трансформации и хранения данных;
  • систему автоматического поиска мошеннических операций (AntiFraud-система).

Обучение состоит из двух частей:

  • Базовый модуль, «бассейн» – онлайн-интенсив из электронных курсов и вебинаров для освоения базовых знаний и умений в программировании и основах работы с данными на Python и SQL.
  • Профильный модуль – обучение в формате вебинаров под руководством преподавателей, интересными ДЗ, персонализированной обратной связью и проектами!

На профильном модуле занятия проходят в формате «живых» вебинаров с преподавателем. Мы не набираем больших групп, чтобы каждый слушатель мог получить ответы свои вопросы во время занятий, личную обратную связь по домашним заданиям и проектам!

У кого вы будете учиться?

Команда преподавателей, методистов и кураторов с более чем трехлетним опытом организации обучения Data Science и Data Engineering. Команда сочетает в себе 3 ключевые экспертизы:

  • индустриальная: практики data engineers и ml/dl engineers из крупнейших российских и международных ИТ-компаний;
  • академическая: преподаватели и выпускники лучших ВУЗов России: ВШЭ, МФТИ, МГУ, Школа Анализа Данных Яндекса;
  • образовательная: через каждого преподавателя в нашей команде прошли сотни слушателей из российских компаний или вузов.

Важно!

Перед стартом обучения важно понимать, что программирование и анализ данных – это интересно и перспективно, но и очень сложно. Для достижения целей обучения вам придется много работать, практиковаться и самостоятельно искать информацию. Без этого не стать хорошим специалистом даже начального уровня. Научить учиться и искать информацию – одна из целей программы, ведь настоящий специалист регулярно занимается этим на работе! Убедитесь, что вы готовы уделять 15, а лучше 20 часов каждую неделю на обучение и вы уверены, что сможете освоить основы этой профессии в интенсивном режиме.

Цель программы

Получить компетенции, связанные с SQL для работы с данными в DWH и программированием на языке Python, необходимые для старта карьеры в сфере Data Engineering.

Актуальность

На текущий момент только в одной России больше 7 000 компаний находятся в поисках специалистов по Data Engineering! Средняя зарплата в этой профессии составляет > 100 000 рублей и практически не имеет верхних границ. Сегодня данные – основа успеха всех крупных преуспевающих компаний, которые видят себя лидерами будущего. Данные необходимо собирать, обрабатывать и строить на их основе модели, которые приносят пользу всему человечеству и бизнесу – для этого необходимы специалисты в сфере Data Engineer!

Требования к слушателям

  1. Готовность упорно учиться, искать информацию и много самостоятельно работать – без этого не стать хорошим разработчиком!
  2. Готовность на протяжении всего курса регулярно выделять достаточно времени учебе.!
  3. Уверенное владение ПК: установка/удаление ПО, работа с текстовыми редакторами, браузером Google Chrome.!
  4. Развитое логическое мышление, умение структурировать информацию.!
  5. Знание английского языка на уровне чтения технической документации.!

Это программа участвует в проекте «Цифровые профессии», но вы также можете учиться у нас, даже если не входите в льготные категории граждан. Пройти вступительный тест и подать заявку

Требования к участникам и описание льготных категорий

Оферта на заключение договора оказания платных образовательных услуг с физическим лицом по программам цифровых профессий

Как записаться на обучение со скидкой

  • Заполните анкету на Госуслугах
  • Дождитесь подтверждения льготы

    Проверка документов до 5 дней

  • Пройдите вступительное испытание в форме тестирования

    Вы можете пользоваться чем угодно, чтобы пройти тест, потому что искать информацию — важный навык для любого ИТ-специалиста. Некоторые задачи из теста могут показаться сложными, но это только на первый взгляд, так как для решения абсолютно всех задач достаточно школьных знаний. У вас будет 1 попытка и 60 минут на прохождение теста. Достаточно ответить правильно хотя бы на 10 из 15 вопросов.

  • Оплатите стоимость обучения с учетом скидки

    Самостоятельно или за счёт работодателя

  • Пройдите обучение и получите документ о дополнительном образовании
  • Установка PostgreSQL
  • Создание и подключение к БД
  • Создание и удаление таблиц
  • Наполнение данными
  • Выборка данных
  • Базовая арифметика
  • Дата и время
  • Первичный ключ
  • Ограничения
  • UPSERT и обновление таблиц
  • Внешние ключи
  • Соединение таблиц
  • Экспорт в CSV
  • Синтаксис
  • Типы и объекты
  • Типы операторов
  • Условные операторы
  • Циклы
  • Как не надо называть переменные
  • Числа
  • Строки
  • Списки
  • Кортежи
  • Словари
  • Множества
  • Функции
  • Исключения
  • Работа с файлами
  • Подключение модулей
  • Регулярные выражения
  • Синтаксис
  • Типы и объекты
  • Типы операторов
  • Условные операторы
  • Циклы
  • Как не надо называть переменные
  • Числа
  • Строки
  • Списки
  • Кортежи
  • Словари
  • Множества
  • Функции
  • Исключения
  • Работа с файлами
  • Подключение модулей
  • Регулярные выражения
  • Основы булевой алгебры
  • Условное ветвление как основа алгоритма
  • Примеры алгоритмов. Вложенные ветвления
  • Наборы данных. Циклы
  • Классические алгоритмы
  • Базовый синтаксис SQL: DDL, DML, формирование выборки по условиям.
  • Базовый Python: Основы Python и простейших алгоритмов: функции ввода-вывода, переменные, основные типы данных и операции с ними, приведение типов. Понятие алгоритма, что это такое и как с ними работать. Ошибки в коде и как с ними работать. Условные конструкции. Вложенные условные конструкции. List. Циклы.
  • Базовый синтаксис SQL: DDL, DML, формирование выборки по условиям.
  • Базовый Python: Основы Python и простейших алгоритмов: функции ввода-вывода, переменные, основные типы данных и операции с ними, приведение типов. Понятие алгоритма, что это такое и как с ними работать. Ошибки в коде и как с ними работать. Условные конструкции. Вложенные условные конструкции. List. Циклы.

Union, Join, агрегация данных, методы очистки данных, строковые функции, группы символов, квантификаторы, функции в регулярных выражениях.

Задачи на построение запросов и формирование выборки, особенности работы со значением Null и оператора distinct, корректное создание, изменение таблицы и иных сущностей базы данных, изменение и удаление данных, горизонтальное и вертикальное объединение данных, агрегацию данных в выборке, подсчет аналитики по определенным полям, аккумулирование данных с использованием одной из агрегационных функций, строковые функции и очистку данных, процессинг данных с использованием регулярных выражений.

Задачи на построение запросов и формирование выборки, особенности работы со значением Null и оператора distinct, корректное создание, изменение таблицы и иных сущностей базы данных, изменение и удаление данных, горизонтальное и вертикальное объединение данных, агрегацию данных в выборке, подсчет аналитики по определенным полям, аккумулирование данных с использованием одной из агрегационных функций, строковые функции и очистку данных, процессинг данных с использованием регулярных выражений.

Проектирование баз данных и хранилищ данных, нормализация, (де)нормализация, ER-модели, создание запросов к базе данных, работа с библиотеками и виртуальным окружением, создание контекста и подключение, отправка запросов на SQL, чтение данных, параметризация запроса, шаблонизатор для кодогенерации, оконные функции, паттерны хранения данных в DWH, инкрементальная загрузка, bash-команды, работа со временем в SQL, методы построения автоинкремента, методы оптимизации запросов, построение ETL-процесса, обзор BigData инструментов.

Решение задач на темы: проектирование баз данных и хранилищ данных, нормализация, (де)нормализация, ER-модели, создание запросов к базе данных, чтение данных, параметризация запроса, шаблонизатор для кодогенерации, оконные функции, паттерны хранения данных в DWH, инкрементальная загрузка, bash-команды, работа со временем в SQL, методы построения автоинкремента, методы оптимизации запросов, построение ETL-процесса на реальных данных.

Решение задач на темы: проектирование баз данных и хранилищ данных, нормализация, (де)нормализация, ER-модели, создание запросов к базе данных, чтение данных, параметризация запроса, шаблонизатор для кодогенерации, оконные функции, паттерны хранения данных в DWH, инкрементальная загрузка, bash-команды, работа со временем в SQL, методы построения автоинкремента, методы оптимизации запросов, построение ETL-процесса на реальных данных.

Общая оценка 5.0

По вопросам поступления на программу

Хотите узнать больше о программе или курсе? Наш менеджер свяжется с Вами в ближайшее время, ответит на все вопросы и поможет с регистрацией.