Длительность
299 ак. часов
Уровень
Базовый
1 поток
(набор завершен)
11.07.2022 - 20.12.2022
2 поток
(набор завершен)
29.08.2022 - 28.02.2023
3 поток
(набор завершен)
26.09.2022 - 28.03.2023
4 поток
(набор завершен)
14.11.2022 - 16.05.2023
Стоимость участия:
90 000 рублей
Программа участвует в проекте «Цифровые Профессии». Государство оплатит от 50% до 100% стоимости курсов
Подробнее о проектеТестирование и регистрация на программу без участия в проекте
Задача инженера данных (Data Engineer): работать с огромными массивами данных – собирать, обрабатывать и хранить их правильным образом. Инженер данных обеспечивает инфраструктуру для хранения данных и разрабатывает эффективные правила их автоматизированной обработки, которые требуют меньше ресурсов и снижают потери и сбои, а также формирует условия для сбора информации, которая должна попасть на обработку и последующее хранение. Можно утверждать, что ученый может открыть новую звезду, но не может создать её. Для этого ему пришлось бы обратиться к инженеру. Без инженера по данным математические модели исследователей данных часто не имеют никакой ценности.
На текущий момент только в одной России больше 7 000 компаний находятся в поисках специалистов по Data Science! Средняя зарплата в этой профессии составляет >100 000 рублей и практически не имеет верхних границ.
Почему Data Engineering?
- Data Engineering – фундамент работы с данными в любой компании
- Спрос на Data Engineer уже начинает превышать спрос на Data Scientist
- Порог входа ниже, чем в Data Science
- Зарплаты не ниже, а часто и выше, чем в Data Science
Программа подойдет:
- желающим начать свой путь в ИТ: мы дадим нужные знания и умения в SQL, Python и хранилищах данных, автоматизации процессов обработки данных, чтобы вы смогли сделать первые шаги навстречу карьере мечты;
- аналитикам: вы получите навыки работы с хранилищами данных. Сможете автоматизировать сбор, трансформацию и очистку данных с помощью SQL и Python без разработчиков. Повысите компетенции для перехода в роль data engineer или data scientist;
- начинающим программистам: набьете руку в сборе, очистке и хранении данных. Сможете дальше развиваться как data engineer или аналитик!
- специалистам в маркетинге или продукте: Научитесь быстро извлекать нужные данные без помощи разработчиков. Научитесь считать статистику по извлеченным данным без привлечения аналитиков. Научитесь работать с одними из самых востребованных в ИТ инструментами: SQL, Python, Git.
На программе вы научитесь настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python на примерах реальных задач.
Вы будете работать над выпускным проектом, для которого есть два варианта выполнения:
- взять задачу, заранее подготовленную преподавателями;
- согласовать собственную тему, например, связанную с работой слушателя.
На проекте, который подготовили преподаватели, слушателей ждет работа с реальными транзакционными банковскими данными. C помощью Python и SQL слушатели реализуют:
- собственное хранилище данных – DWH;
- процесс сбора, очистки, трансформации и хранения данных;
- систему автоматического поиска мошеннических операций (AntiFraud-система).
Обучение состоит из двух частей:
- Базовый модуль, «бассейн» – онлайн-интенсив из электронных курсов и вебинаров для освоения базовых знаний и умений в программировании и основах работы с данными на Python и SQL.
- Профильный модуль – обучение в формате вебинаров под руководством преподавателей, интересными ДЗ, персонализированной обратной связью и проектами!
На профильном модуле занятия проходят в формате «живых» вебинаров с преподавателем. Мы не набираем больших групп, чтобы каждый слушатель мог получить ответы свои вопросы во время занятий, личную обратную связь по домашним заданиям и проектам!
У кого вы будете учиться?
Команда преподавателей, методистов и кураторов с более чем трехлетним опытом организации обучения Data Science и Data Engineering. Команда сочетает в себе 3 ключевые экспертизы:
- индустриальная: практики data engineers и ml/dl engineers из крупнейших российских и международных ИТ-компаний;
- академическая: преподаватели и выпускники лучших ВУЗов России: ВШЭ, МФТИ, МГУ, Школа Анализа Данных Яндекса;
- образовательная: через каждого преподавателя в нашей команде прошли сотни слушателей из российских компаний или вузов.
Важно!
Перед стартом обучения важно понимать, что программирование и анализ данных – это интересно и перспективно, но и очень сложно. Для достижения целей обучения вам придется много работать, практиковаться и самостоятельно искать информацию. Без этого не стать хорошим специалистом даже начального уровня. Научить учиться и искать информацию – одна из целей программы, ведь настоящий специалист регулярно занимается этим на работе! Убедитесь, что вы готовы уделять 15, а лучше 20 часов каждую неделю на обучение и вы уверены, что сможете освоить основы этой профессии в интенсивном режиме.
Цель программы
Получить компетенции, связанные с SQL для работы с данными в DWH и программированием на языке Python, необходимые для старта карьеры в сфере Data Engineering.
Актуальность
На текущий момент только в одной России больше 7 000 компаний находятся в поисках специалистов по Data Engineering! Средняя зарплата в этой профессии составляет > 100 000 рублей и практически не имеет верхних границ. Сегодня данные – основа успеха всех крупных преуспевающих компаний, которые видят себя лидерами будущего. Данные необходимо собирать, обрабатывать и строить на их основе модели, которые приносят пользу всему человечеству и бизнесу – для этого необходимы специалисты в сфере Data Engineer!
Требования к слушателям
- Готовность упорно учиться, искать информацию и много самостоятельно работать – без этого не стать хорошим разработчиком!
- Готовность на протяжении всего курса регулярно выделять достаточно времени учебе.!
- Уверенное владение ПК: установка/удаление ПО, работа с текстовыми редакторами, браузером Google Chrome.!
- Развитое логическое мышление, умение структурировать информацию.!
- Знание английского языка на уровне чтения технической документации.!
Это программа участвует в проекте «Цифровые профессии», но вы также можете учиться у нас, даже если не входите в льготные категории граждан. Пройти вступительный тест и подать заявку
- Установка PostgreSQL
- Создание и подключение к БД
- Создание и удаление таблиц
- Наполнение данными
- Выборка данных
- Базовая арифметика
- Дата и время
- Первичный ключ
- Ограничения
- UPSERT и обновление таблиц
- Внешние ключи
- Соединение таблиц
- Экспорт в CSV
- Синтаксис
- Типы и объекты
- Типы операторов
- Условные операторы
- Циклы
- Как не надо называть переменные
- Числа
- Строки
- Списки
- Кортежи
- Словари
- Множества
- Функции
- Исключения
- Работа с файлами
- Подключение модулей
- Регулярные выражения
- Синтаксис
- Типы и объекты
- Типы операторов
- Условные операторы
- Циклы
- Как не надо называть переменные
- Числа
- Строки
- Списки
- Кортежи
- Словари
- Множества
- Функции
- Исключения
- Работа с файлами
- Подключение модулей
- Регулярные выражения
- Основы булевой алгебры
- Условное ветвление как основа алгоритма
- Примеры алгоритмов. Вложенные ветвления
- Наборы данных. Циклы
- Классические алгоритмы
- Базовый синтаксис SQL: DDL, DML, формирование выборки по условиям.
- Базовый Python: Основы Python и простейших алгоритмов: функции ввода-вывода, переменные, основные типы данных и операции с ними, приведение типов. Понятие алгоритма, что это такое и как с ними работать. Ошибки в коде и как с ними работать. Условные конструкции. Вложенные условные конструкции. List. Циклы.
- Базовый синтаксис SQL: DDL, DML, формирование выборки по условиям.
- Базовый Python: Основы Python и простейших алгоритмов: функции ввода-вывода, переменные, основные типы данных и операции с ними, приведение типов. Понятие алгоритма, что это такое и как с ними работать. Ошибки в коде и как с ними работать. Условные конструкции. Вложенные условные конструкции. List. Циклы.
Union, Join, агрегация данных, методы очистки данных, строковые функции, группы символов, квантификаторы, функции в регулярных выражениях.
Задачи на построение запросов и формирование выборки, особенности работы со значением Null и оператора distinct, корректное создание, изменение таблицы и иных сущностей базы данных, изменение и удаление данных, горизонтальное и вертикальное объединение данных, агрегацию данных в выборке, подсчет аналитики по определенным полям, аккумулирование данных с использованием одной из агрегационных функций, строковые функции и очистку данных, процессинг данных с использованием регулярных выражений.
Задачи на построение запросов и формирование выборки, особенности работы со значением Null и оператора distinct, корректное создание, изменение таблицы и иных сущностей базы данных, изменение и удаление данных, горизонтальное и вертикальное объединение данных, агрегацию данных в выборке, подсчет аналитики по определенным полям, аккумулирование данных с использованием одной из агрегационных функций, строковые функции и очистку данных, процессинг данных с использованием регулярных выражений.
Проектирование баз данных и хранилищ данных, нормализация, (де)нормализация, ER-модели, создание запросов к базе данных, работа с библиотеками и виртуальным окружением, создание контекста и подключение, отправка запросов на SQL, чтение данных, параметризация запроса, шаблонизатор для кодогенерации, оконные функции, паттерны хранения данных в DWH, инкрементальная загрузка, bash-команды, работа со временем в SQL, методы построения автоинкремента, методы оптимизации запросов, построение ETL-процесса, обзор BigData инструментов.
Решение задач на темы: проектирование баз данных и хранилищ данных, нормализация, (де)нормализация, ER-модели, создание запросов к базе данных, чтение данных, параметризация запроса, шаблонизатор для кодогенерации, оконные функции, паттерны хранения данных в DWH, инкрементальная загрузка, bash-команды, работа со временем в SQL, методы построения автоинкремента, методы оптимизации запросов, построение ETL-процесса на реальных данных.
Решение задач на темы: проектирование баз данных и хранилищ данных, нормализация, (де)нормализация, ER-модели, создание запросов к базе данных, чтение данных, параметризация запроса, шаблонизатор для кодогенерации, оконные функции, паттерны хранения данных в DWH, инкрементальная загрузка, bash-команды, работа со временем в SQL, методы построения автоинкремента, методы оптимизации запросов, построение ETL-процесса на реальных данных.
Общая оценка 5.0
Хотите узнать больше о программе или курсе? Наш менеджер свяжется с Вами в ближайшее время, ответит на все вопросы и поможет с регистрацией.