Domine Apache Airflow: Pipelines de Engenharia de Dados

Bem vindo ao nosso moderno curso de Airflow, desenvolvido e lançado em 2023!

O Airflow é uma plataforma  que permite o gerenciamento, a programação e a monitoração de fluxos de trabalho de processamento de dados (pipelines), usado por empresas como Netflix, Airbnb, Paypal, Twitter e outras.

Através de uma abordagem baseada em Directed Acyclic Graphs (DAGs), o Airflow facilita a definição de tarefas e suas dependências, permitindo a execução paralela e sequencial das etapas do processo.

O Airflow pode ser utilizado para automatizar e orquestrar uma ampla gama de fluxos de trabalho de processamento de dados. Um exemplo é a extração, transformação e carga (ETL) de dados de uma API para um banco de dados.

Neste curso você vai aprender de forma prática como criar seus próprios Pipelines de Dados utlizando esta ferramenta incrível e moderna. Entre outras coisas você vai:

• Conhecer a Arquitetura do Airflow

• Aprender Fundamentos de Dags e Tasks

• Construir suas Próprias Dags

• Implementar Dags com Operadores com PythonOperator, PostgresOperator entre muitos outros

• Entender e aplicar conceitos como Pools, Variáveis, branchs e Dataset

• Criar Sensores em Airflow

• Conhecer e Implementar regras de Triggers

• Trocar dados utilizando XCom

• Enviar emails em caso de Falhas ou mesmo em uma Task

• Entender e Criar Hooks

• Compreender as principais configurações do Airflow

• Estudar os tipos de Executers e seus características

• Conectar e atualizar bancos de dados

O curso ainda inclui acesso a todos os códigos e slides utlizados.

Bons estudos!