Formação Data Warehouse com Redshift, BigQuery e SnowFlake
- Descrição
- Currículo
- FAQ
- Revisões
O que é um data warehouse? É um sistema de armazenamento de dados que é projetado para permitir a análise de informações de negócios de maneira mais eficiente. Ele é um repositório centralizado de dados que são extraídos, transformados e carregados de várias fontes de dados para fornecer informações úteis e estratégicas para a tomada de decisões em uma organização. Ele é fundamental para a empresa possua dados gerenciais de qualidade para a tomada de decisão.
Neste curso, além dos fundamentos, você vai conhecer três das principais ferramentas de Data Warehouse:
-
Snowflake: data warehouse nativo da nuvem que oferece escalabilidade, segurança e desempenho sem a necessidade de gerenciar infraestrutura física. Ele usa uma arquitetura de banco de dados em nuvem que separa o armazenamento de dados do processamento de consultas, permitindo que os usuários dimensionem cada camada independentemente.
-
Redshift: data warehouse baseado em nuvem que permite armazenar e analisar grandes volumes de dados usando SQL. Ele usa uma arquitetura em cluster massivamente paralela para processar consultas de forma rápida e eficiente, permitindo que os usuários executem análises de dados em tempo real. O Redshift é altamente escalável e pode ser facilmente dimensionado para lidar com conjuntos de dados cada vez maiores.
-
BigQuery: serviço de data warehouse baseado em nuvem que permite armazenar e analisar grandes volumes de dados usando SQL. Ele usa uma arquitetura de processamento em coluna para permitir consultas de dados rápidas e escaláveis, permitindo que os usuários executem análises em tempo real em grandes conjuntos de dados
O que você vai aprender neste curso:
-
Fudandamentos de Datawarehouse, como clusters, replicação, particionamento, armazenamento colunar, tolerância a falhas
-
Modelo de Dados para Datawarehouses: Modelos dimensinais star e snowflake, modelo relacional, Galaxy Schema e outros
-
Fundamentos e aplicações em Redshift: Conceitos como sortkey, distkey, diststyle, cache. Criação de consultas utilizando CTEs. Planos de Execução, vinculação a dados externos, importação com copy, views e views materializadas
-
Fundamentos e aplicações em BigQuery: Criação de Projetos, Tavela Pivot, partições, tabelas externas, view emais
-
Fundamentos e aplicações em Snowflake: Virtualwarehouse, cache, clustering, views, time travel, fail-safe, taks, streams e muito mais
-
Criação de um projeto prático: carga de dados do staging de forma incremental para um Data Warehouse, utilizando CDC, streams e tasks
-
Checklist comentado: dicas e truques para você considerar no seu projeto.
O curso inclui ainda:
-
Material de apoio, como scritps para criação de objetos de banco de dados
-
Slides das aulas em formato pdf
-
6Fatos sobre Data WarehousesVídeo Aula
-
7Diferenças entre Bancos de Dados Operacionais e AnalíticosVídeo Aula
-
8Diferenças entre Data Warehouse Clássico do ModernoVídeo Aula
-
9Armazenamento por Linha Versus ColunaVídeo Aula
-
10Conceitos Gerais de ClusterVídeo Aula
-
11Particionamento e ReplicaçãoVídeo Aula
-
12Tolerância a FalhasVídeo Aula
-
13Considerações Sobre ModelagemVídeo Aula
-
14Modelo RelacionalVídeo Aula
-
15Modelando na 3FNVídeo Aula
-
16Tipos de RelacionamentosVídeo Aula
-
17Modelo DimensionalVídeo Aula
-
18Chave SubstitutaVídeo Aula
-
19Dimensional SnowflakeVídeo Aula
-
20Galaxy SchemaVídeo Aula
-
21Flat TableVídeo Aula
-
22Modelo Data VaultVídeo Aula
-
25Introdução ao RedshiftVídeo Aula
-
26Sortkey, Distkey e CacheVídeo Aula
-
27Serverless versus ProvisionadoVídeo Aula
-
28Atividade PráticaVídeo Aula
-
29Criando uma instância e um Banco de DadosVídeo Aula
-
30Criando Objetos e PopulandoVídeo Aula
-
31Testando Sortkey e DistkeyVídeo Aula
-
32CTE e Função de JanelaVídeo Aula
-
33AnalyzeVídeo Aula
-
34Planos de ExecuçãoVídeo Aula
-
35VacuumVídeo Aula
-
36Analyse CompressionVídeo Aula
-
37Consultando Dados Externos Redshift SpectrumVídeo Aula
-
38Criando ConfiguraçõesVídeo Aula
-
39Vinculano Dados ExternosVídeo Aula
-
40Consultando Dados ExternosVídeo Aula
-
41Carregando Dados com CopyVídeo Aula
-
42Configurando e ImportandoVídeo Aula
-
43Views Parte IVídeo Aula
-
44Views Parte IIVídeo Aula
-
45Boas PráticasVídeo Aula
-
46Introdução ao BigQueryVídeo Aula
-
47ParticionamentoVídeo Aula
-
48Cluster de TabelasVídeo Aula
-
49Criando o ProjetoVídeo Aula
-
50Criando Objetos e PopulandoVídeo Aula
-
51Primeiras ConsultasVídeo Aula
-
52Consultando PartiçõesVídeo Aula
-
53Quando usar Partition e ClusterVídeo Aula
-
54Criando uma Tabela PivotVídeo Aula
-
55Cálculo da Média com Sub ConsultaVídeo Aula
-
56Criando Tabelas pelo Console WebVídeo Aula
-
57Tabelas ExternasVídeo Aula
-
58ViewsVídeo Aula
-
59Criando ViewsVídeo Aula
-
60Apresentação e EdiçõesVídeo Aula
-
61VirtualWarehouseVídeo Aula
-
62Cache e ClusteringVídeo Aula
-
63Criando uma Conta no SnowflakeVídeo Aula
-
64Criando um WarehouseVídeo Aula
-
65Criando Objetos e PopulandoVídeo Aula
-
66ViewsVídeo Aula
-
67Criando ViewsVídeo Aula
-
68Produtos Mais Vendidos por CategoriaVídeo Aula
-
69Consultando Produtos Mais Vendidos por CategoriaVídeo Aula
-
70Total e Média de Vendas por MesVídeo Aula
-
71Carregando Dados Externos com CopyVídeo Aula
-
72Executando CopyVídeo Aula
-
73TimeTravel e Fail-safeVídeo Aula
-
74Implementando TimeTravelVídeo Aula
-
75Conhecendo TasksVídeo Aula
-
76Criando TasksVídeo Aula
-
77Criando uma DAG com Duas TasksVídeo Aula
-
78Streams e CDCVídeo Aula
-
79Streams na PráticaVídeo Aula
-
80ApresentaçãoVídeo Aula
-
81EtapasVídeo Aula
-
82Criando os ObjetosVídeo Aula
-
83Criando StreamsVídeo Aula
-
84Stream da FatoVídeo Aula
-
85Criando Stream da FatoVídeo Aula
-
86Testando o DWVídeo Aula
-
87Criando Tasks e TestandoVídeo Aula
-
88Considerações Sobre o Grão (Nível de Detalhes)Vídeo Aula