Machine Learning com Spark e Pyspark: o Curso Completo
- Descrição
- Currículo
- FAQ
- Revisões
Faça uma super imersão em Machine Learning com Spark utilizando bibliotecas nativas!
Na era “Big Data” o Spark se tornou a principal ferramenta de processamento de dados no mundo devido a sua capacidade de processar volumes massivos de dados com alta performance, se tornando uma ferramenta essencial para Cientistas e Engenheiros de Dados. Sua arquitetura distribuída permite processar dados utilizando paralelismo e memória, persistindo dados quando necessário. Além disso o Spark é capaz de importar dados de praticamente qualquer fonte, bem como também exportar dados processados para os principais formatos e bancos de dados utilizados.
Do ponto de vista profissional, conhecer Spark é uma das habilidades mais importantes ao lado de Machine Learning e Python. E o melhor disso é o que Spark já traz tudo isso. Você pode utilizar Spark com Python, através do Pyspark, e você pode criar modelos de Machine Learning utilizando as próprias bibliotecas do Spark.
Neste curso prático, você vai dominar o uso do Spark para Machine Learning:
-
Aprenda os conceitos gerais de Machine Learning
-
Conheça o Processo de Importação de Dados
-
Domine técnicas de pré-processamento, como substituição de valores faltantes
-
Aprenda técnicas de engenharia de atributos, como normalização de dados e codificação de categorias
-
Crie modelos de Regressão e Classificação, utilizando Redes Neurais, Random Forest e outras
-
Avalie a performance de seus modelos
-
Crie Clusters e avalia a performance
-
Produza regras de associação com itens frequentes
-
Faça o tunning de Hiper Parâmetros de Modelos
-
Cria fluxos de processamento de Machine Learning utilizando Pipelines
-
e muito mais!
Você ainda vai encontrar material do curso para baixar: scripts, slides e dados de exemplo.
-
4IntroduçãoVídeo Aula
-
5Introdução Parte IIVídeo Aula
-
6ClassificaçãoVídeo Aula
-
7RegressãoVídeo Aula
-
8AgrupamentosVídeo Aula
-
9Sistemas de RecomendaçãoVídeo Aula
-
10Regressão LinearVídeo Aula
-
11Regressão LogísticaVídeo Aula
-
12Categorical EncodingVídeo Aula
-
13Feature ScallingVídeo Aula
-
14Atenção: sobre o ambiente para executar o curso!Texto
-
15Escolhendo o AmbienteVídeo Aula
-
16LINUX: Introdução sobre Instalação com VM LinuxVídeo Aula
-
17Downloads NecessáriosVídeo Aula
-
18Instalando VM UbuntuVídeo Aula
-
19Instalando SparkVídeo Aula
-
20Bibliotecas AdicionaisVídeo Aula
-
21Rodando Exemplos na Linha de ComandoVídeo Aula
-
22Instalando e Configurando Jupyter NotebooksVídeo Aula
-
23WINDOWS: Orientações de Instalação e ConfiguraçãoVídeo Aula
-
24NUVEM: Databricks Community EditionVídeo Aula
-
31Vetorização de Atributos com VectorAssemblerVídeo Aula
-
32Geração de Características com PCA (Principal component analysis)Vídeo Aula
-
33Binarização de AtributosVídeo Aula
-
34Indexação de Texto com StringIndexerVídeo Aula
-
35Índice para Texto com IndexToStringVídeo Aula
-
36Categorical Encoding com One Hot EncodingVídeo Aula
-
37Tratando Valores Ausentes com ImputerVídeo Aula
-
38Expansão de Atributos com PolynomialExpansionVídeo Aula
-
39Normalização de Dados com NormalizerVídeo Aula
-
40Padronização de Dados com StandarScalerVídeo Aula
-
41Padronização de Dados com RobustScalerVídeo Aula
-
42Padronização de Dados com MinMaxScalerVídeo Aula
-
43Padronização de Dados com MaxAbsScalerVídeo Aula
-
44Discretização de DadosVídeo Aula
-
45Transformação com RFormulaVídeo Aula
-
46Divisor de Vetores com VectorSlicerVídeo Aula
-
47Seleção de Atributos com ChiSqSelector (qui-quadrado)Vídeo Aula
-
48Seleção de Atributos com UnivariateFeatureSelectorVídeo Aula