Formação Engenharia de Dados: Domine Big Data!
- Descrição
- Currículo
- FAQ
- Revisões
Totalmente atualizado em Setembro de 2022! Faça o utilizando ferramentas na nuvem, tudo o que você precisa é de um computador com acesso a internet!
A Engenharia de Dados é uma das profissões que mais cresce no mundo, com alta demanda de profissionais e consequentemente salários cada vez maiores, além de muitas oportunidades para trabalhar para empresas estrangeiras ou mesmo para uma carreira no exterior!
Este é mais completo e acessível curso para você entrar ou se especializar no mundo dos Dados!
O Engenheiro de Dados é o profissional que constrói, mantém e disponibiliza dados em empresas. Com ambientes cada vez mais complexos, este profissional deve conhecer diversas estruturas e tecnologias de dados. Neste curso, você vai ter um panorama geral sobre as principais modelos e tecnologias de dados que encontramos no mundo da ciência de dados.
Entre outras coisas, você vai estudar:
-
Conceitos e Fundamentos
-
Armazenamentos de dados distribuidos
-
Modelo Relacional e Linguagem SQL: Operação. Modelos relacionais estão em toda parte, são sistemas contabeis, folhas de pagamento, estoque, finanças etc. Embora este seja um modelo mais antigo de dados, é sem dúvida ainda o mais importante!
-
Modelo Dimensional: Tomada de Decisão. Modelos dimensionais são utilizados para construir armazéns de dados, que nada mais são “depósitos” de informação utilizada para apoiar a tomada de decisão.
-
Data Warehouse Moderno e Data Lake: Os armazens de dados modernos são estruturados em colunas e otimizados através de partições
-
NoSQL: Orientado a Documento e Chave Valor: Dados semi-estruturados com MongoDB e Redis. NoSQL é uma familia de bancos de dados para modelos diferenciados, para armazenar informações que não tem as restrições encontradas em sistemas de transações.
-
Introdução do Ecossistema Hadoop: Este ecossistema que foi o pioneiro no processamento de grandes volumes de dados
-
Spark: O Spark é uma das mais importantes ferramentas de Engenharia e Ciência de Dados, capaz de processar grandes volumes de dados com alta performance.
-
Engenharia de Dados com Python: O Python se tornou a mais importante linguagem imperativa no mundo dos dados.
-
Aplicações em Streaming: Real Time e Near Real Time: Dados em streaming são aqueles que são produzidos e forma contínua, e que precisam ser processados de forma contínua.
-
ETL e Data Crawlers: Extrair, transformar e entregar dados é uma tarefa de rotina na engenharia de dados
-
Gerenciamento de serviços pela CLI
Algumas das ferramentas que serão utilizadas e estudadas durante o curso:
-
Postgresql
-
S3
-
EC2
-
Redshift
-
Mongodb
-
Redis
-
Databricks
-
RDS
-
Kinesis
-
Glue
-
Athena
Você também terá dois grandes projetos práticos para desenvolver ao final do curso:
-
Construção de um Data Lake
-
Construção de um Pipeline de Extração e Transformação de Dados
O curso ainda traz todo material, como slides e scripts, disponíveis para você baixar.
-
1Aviso sobre versões do curso!Vídeo Aula
-
2O que vamos estudar?Vídeo Aula
-
3Dicas para Melhor Aproveitamento do CursoVídeo Aula
-
4Material do Curso para DownloadTexto
-
5O que é Engenharia de Dados?Vídeo Aula
-
6O que é Big Data?Vídeo Aula
-
7Estruturas de DadosVídeo Aula
-
8HistóriaVídeo Aula
-
9Questionário 1Questionário
-
10ConceitosVídeo Aula
-
11Conceitos Parte IIVídeo Aula
-
12Clássico VS Big DataVídeo Aula
-
13Operacional VS AnalíticoVídeo Aula
-
14Teorema de CAPVídeo Aula
-
15Questionário 2Questionário
-
16Data LakesVídeo Aula
-
17ProjetosVídeo Aula
-
18Big Data ÁgilVídeo Aula
-
19SegurançaVídeo Aula
-
20Riscos Parte IVídeo Aula
-
21Riscos Parte IIVídeo Aula
-
22Riscos Parte IIIVídeo Aula
-
23Riscos Parte IVVídeo Aula
-
24Riscos Parte VVídeo Aula
-
25Big Data na NuvemVídeo Aula
-
26Ciência de Dados Parte IVídeo Aula
-
27Ciência de Dados Parte IIVídeo Aula
-
28Ciência de Dados Parte IIIVídeo Aula
-
29Questionário 1Questionário
-
40Arquitetura RelacionalVídeo Aula
-
41ACID Parte IVídeo Aula
-
42ACID Parte IIVídeo Aula
-
43Níveis de IsolamentoVídeo Aula
-
44Questionário 1Questionário
-
45Estudo de CasoVídeo Aula
-
46Formas NormaisVídeo Aula
-
47Formas Normais: chaves e outros aspectosVídeo Aula
-
48Outros AspectosVídeo Aula
-
49Modelo Relacional da JJBikeVídeo Aula
-
50SQL Parte IVídeo Aula
-
51SQL Parte IIVídeo Aula
-
52SQL Parte IIIVídeo Aula
-
53Questionário 2Questionário
-
54Estudo de Caso Parte IVídeo Aula
-
55Estudo de Caso Parte IIVídeo Aula
-
56Instalando PostgresVídeo Aula
-
57Criando e Populando Banco de DadosVídeo Aula
-
58Consultas BásicasVídeo Aula
-
59Agregação e DistinctVídeo Aula
-
60Insert, update, deleteVídeo Aula
-
61TransaçõesVídeo Aula
-
62JoinsVídeo Aula
-
63Mais JoinsVídeo Aula
-
64AtividadesVídeo Aula
-
65O Modelo GerencialVídeo Aula
-
66HistóricoVídeo Aula
-
67GranulidadeVídeo Aula
-
68Data WarehouseVídeo Aula
-
69Modelos Dimensionais e CubosVídeo Aula
-
70CubosVídeo Aula
-
71DrillsVídeo Aula
-
72Questionário 1Questionário
-
73FatosVídeo Aula
-
74DimensõesVídeo Aula
-
75Dimensão TempoVídeo Aula
-
76Hierarquia e CompartilhamentoVídeo Aula
-
77MedidasVídeo Aula
-
78Chave SubstitutaVídeo Aula
-
79Slow Changing Dimension, Modelos, MascaradasVídeo Aula
-
80KPIs e BSCVídeo Aula
-
81Dez regras EssenciaisVídeo Aula
-
82ETLVídeo Aula
-
83Questionário 2Questionário
-
84Estudo de Caso Parte IVídeo Aula
-
85Detalhando o ModeloVídeo Aula
-
86Estudo de Caso Parte IIVídeo Aula
-
87Criando o DWVídeo Aula
-
88Cargas de dados no DWVídeo Aula
-
89DesnormalizaçãoVídeo Aula
-
90KPIsVídeo Aula
