Big Data - Apache Spark com PySpark para Iniciantes.
- Descrição
- Currículo
- FAQ
- Revisões
Apache Spark é uma estrutura flexível que permite o processamento de dados em batch e em stremming.
Seu mecanismo unificado o tornou bastante popular para casos de uso de big data. Este curso o ajudará a começar a usar o Apache Spark 3.0 e a escrever aplicativos de big data para uma variedade de casos de uso. Aqui vamos ensinar como configurar o Spark em sua máquina local. À medida que avançamos, você será apresentado a conjuntos de dados distribuídos resilientes (RDDs) e APIs de DataFrame e suas transformações e açõe. Em seguida, passamos para o ciclo de vida de um aplicativo Spark . Você também conhecerá os módulos integrados do Spark para SQL e execução de notebooks no Databricks.
Ao final deste curso, você terá um conhecimento fundamental sólido da estrutura do Apache Spark e será capaz de escrever e otimizar aplicativos Spark.
– Aprenda os principais conceitos, como RDDs, DataFrames, transformações e muito mais
– Configure um ambiente de desenvolvimento Spark
– Escolha as APIs certas para seus aplicativos
– Compreenda a arquitetura do Spark e o fluxo de execução de um aplicativo Spark
– Aprenda a executar seus aplicativos no Databricks Community
– Entenda como utilizar o Spark SQL
– Aplique na prática as Window Functions
-
1IntroduçãoVídeo Aula
Nesta aula, irei da uma introdução sobre o Apache Spark e explico como funciona a distribuição de tarefas em um cluster
-
2Repositório com os fontesTexto
Fontes com o conteúdo utilizado nas aulas
-
3Ecossistema do Apache SparkVídeo Aula
Nesta aula, iremos falar um pouco sobre o ecossistema do Apache Spark
-
4Baixando os binários e configurando no WindowsVídeo Aula
Nesta aula, iremos fazer os download dos arquivos binários no site do Apache Spark
-
5Configuração dos binários no linuxVídeo Aula
Nesta aula, iremos utilizar o docker para mostrar a configuração do Apache Spark em um ambiente Linux
-
6Lista de downloadTexto
Aqui estou listando o que você precisará baixar para configurar sua máquina, caso tenha dificuldades de acompanhar no vídeo.
-
7Acessando Spark Shell, Spark UI conhecendo transformações e ações.Vídeo Aula
Nesta aula, iremos conhecer a Spark UI e também os conceitos de transformação e ação
-
8Baixando o PyCharm e Instalando o Pyspark com o PIPVídeo Aula
Nesta aula, iremos fazer o download do PyCharm e aprender uma forma rápida de utilizar o PySpark
-
9Criação de conta no Databricks CommunityVídeo Aula
Nesta aula, iremos fazer o cadastro no Databricks Community
-
10DataFrame - Lendo arquivo csvVídeo Aula
Nesta aula, iremos fazer a leitura de um arquivo csv.
-
11DataFrame - Select e FilterVídeo Aula
Nesta aula, iremos aprender a utilizar as funções de select e filter em um DataFrame
-
12DataFrame - WithColumn e CastVídeo Aula
Nesta aula, iremos aprender a criar uma nova coluna e aplicar cast de tipos
-
13DataFrame - When e OtherWiseVídeo Aula
Nesta aula, iremos aprender a fazer verificação de valores em um DataFrame
-
14DataFrame - StructTypeVídeo Aula
Nesta aula, iremos aprender a criar esquemas.
-
15DataFrame - headerVídeo Aula
Nesta aula, iremos aprender várias formas de trabalhar com cabeçalho em um DataFrame
-
16DataFrame - Métodos de execução Programas SparkVídeo Aula
Nesta Aula, iremos conhecer os tipos de execução de um aplicativo Spark
-
17Conteúdo utilizado na aula anteriorTexto
Conteúdo para consulta
-
18DataFrame - Importando os arquivos para o DatabricksVídeo Aula
Nesta aula, iremos importar o nosso código para o Databricks
-
19DataFrame - Particionamento de DadosVídeo Aula
Nesta aula, iremos aprender conceitos de particionamentos de dados e aplicar na prática
-
20DataFrame - AgrupamentosVídeo Aula
Nesta aula, iremos aprender agrupamentos na prática.
-
21DataFrame - AgregaçãoVídeo Aula
Nesta aula, iremos conhecer as funções de agregação
-
22DataFrame - JoinVídeo Aula
Nesta aula, iremos conhecer todos os tipos de agrupamentos
-
23DataFrame - Window FunctionVídeo Aula
Nesta aula, iremos aprender a utilidade das funções de janela
-
24DataFrame - Dados complexosVídeo Aula
Nesta aula, iremos aprender a trabalhar com dados complexos
-
25DataFrame - Udf e Udf Vetorizada, leitura e escrita de arquivos json e parquetVídeo Aula
Conteúdo para utilizar como consulta da aula anterior.
-
26Spark SQL - select, where ,show tables e input_file_nameVídeo Aula
Nesta aula, iremos aprender utilizar instruções básicas no Spark SQL
-
27Spark SQL - like, distinct e inVídeo Aula
Nesta aula, iremos aprender a filtrar dados e remover valores repetidos
-
28Spark SQL - COUNT, GROUP BY, HAVING, ORDER BY E TEMPORARY VIEWVídeo Aula
Nesta aula, vamos aprender agrupamentos com Spark SQL
-
29Spark SQL - SHOW TABLES, DROP TABLES e CREATE TABLEVídeo Aula
Nesta aula, iremos aprender alguns comandos utilitários
-
30Spark SQL - JOINVídeo Aula
Nesta aula, iremos aprender a utilizar Join's com Spark SQL
-
31Spark SQL - CASE WHENVídeo Aula
Nesta aula, iremos aprender a utilizar CASE e WHEN no Spark SQL
-
32Spark SQL - Agregacao SUM, MIN, MAX e AVGVídeo Aula
Nesta aula, vamos conhecer algumas funções básicas de agregação no Spark SQL
-
33Spark SQL - Window FunctionVídeo Aula
Nesta aula, vamos aprender a utilizar as Window Functions no Spark SQL