Machine Learning com Spark e Pyspark: o Curso Completo

Faça uma super imersão em Machine Learning com Spark utilizando bibliotecas nativas!

Na era “Big Data” o Spark se tornou a principal ferramenta de processamento de dados no mundo devido a sua capacidade de processar volumes massivos de dados com alta performance, se tornando uma ferramenta essencial para Cientistas e Engenheiros de Dados. Sua arquitetura distribuída permite processar dados utilizando paralelismo e memória, persistindo dados quando necessário. Além disso o Spark é capaz de importar dados de praticamente qualquer fonte, bem como também exportar dados processados para os principais formatos e bancos de dados utilizados.

Do ponto de vista profissional, conhecer Spark é uma das habilidades mais importantes ao lado de Machine Learning e Python. E o melhor disso é o que Spark já traz tudo isso. Você pode utilizar Spark com Python, através do Pyspark, e você pode criar modelos de Machine Learning utilizando as próprias bibliotecas do Spark.

Neste curso prático, você vai dominar o uso do Spark para Machine Learning:

• Aprenda os conceitos gerais de Machine Learning

• Conheça o Processo de Importação de Dados

• Domine técnicas de pré-processamento, como substituição de valores faltantes

• Aprenda técnicas de engenharia de atributos, como normalização de dados e codificação de categorias

• Crie modelos de Regressão e Classificação, utilizando Redes Neurais, Random Forest e outras

• Avalie a performance de seus modelos

• Crie Clusters e avalia a performance

• Produza regras de associação com itens frequentes

• Faça o tunning de Hiper Parâmetros de Modelos

• Cria fluxos de processamento de Machine Learning utilizando Pipelines

• e muito mais!

Você ainda vai encontrar material do curso para baixar: scripts, slides e dados de exemplo.