Curso para desenvolvimento de jobs com Spring Batch
- Descrição
- Currículo
- FAQ
- Revisões
Se inscreva no curso mais completo de Spring Batch da plataforma Udemy!
Spring Batch – Um framework leve e completo projetado para permitir o desenvolvimento de aplicações robustas de processamento de dados em lote (jobs) que são vitais para as operações diárias de sistemas corporativos. Spring Batch provê funções reusáveis que são essenciais ao processamento de grande volume de dados, incluindo log e monitoramento, controle transacional, estatísticas, reinicialização, skip de dados inválidos e gerenciamento de recursos. Também provê serviços mais avançados que permitem alta performance de jobs através de otimizações e técnicas de particionamento. Jobs com um grande volume de dados se beneficiam com o uso do framework que os torna altamente escaláveis para processar um volume significativo de informação em tempo hábil.
Está incluído no curso:
1 – Instruções detalhadas de configuração tanto para Linux como para Windows
2 – Uma introdução ao framework Spring Batch
3 – Teoria aliada à pratica com exemplos passo a passo
4 – Projetos que resolvem problemas reais de empresas de software para aplicar os conceitos aprendidos
5 – Exercícios com desafios práticos
6 – E mais!
Este curso é para você se…
– Você é um profissional de TI que eventualmente precisa elaborar e manter rotinas de processamento de dados
– Você tem problemas relativos à rotinas de processamento de dados no trabalho e deseja um passo a passo para aprender a lidar com eles utilizando Spring Batch
– Você é um estudante de TI que deseja trabalhar em uma grande empresa de processamento de dados
Este curso não é para você se…
– Você é iniciante em programação
– Você nunca trabalhou com Java, Spring, Maven, e banco de dados
Bibliografia
– Documentação oficial do Spring Batch
– Livro: Michael T. Minella, 2020, The Definitive Guide to Spring Batch
-
1
Introdução ao cursoNessa aula, será apresentada a estrutura do curso.
-
2
ExpectativasQuais são as suas expectativas com esse curso? O que você espera aprender e ser capaz de fazer ao final do curso? Compartilhe no quadro de perguntas e respostas!
-
3
Configuração do ambiente - Linux
Nessa aula, será feita a instalação e configuração do Java 8, banco de dados MySQL, e Spring Tool Suite (STS) no Linux.
-
4
Configuração do ambiente - Windows
Nessa aula, será feita a instalação e configuração do Java 8, banco de dados MySQL, e Spring Tool Suite (STS) no Windows.
-
5
Introdução
Nessa seção, você vai aprender o propósito do framework spring batch, sua arquitetura e irá criar o seu primeiro job spring batch!
-
6
Teoria: Sistemas batch e o Spring Batch
Nessa aula, você entenderá porque utilizar Spring Batch para implementar sistemas batch e como o framework foi projetado para essa finalidade. Serão discutidos os seguintes pontos:
1. Definição de processamento batch/sistema batch
2. Origem do Spring Batch
3. Desafios do processamento batch
-
7
Versão do Spring Batch
-
8
Prática: Implementação do primeiro projeto Spring Batch
Nessa aula, você aprenderá como implementar um job simples utilizando Spring Batch (projeto PrimeiroJobSpringBatch):
1. Criação do projeto: Spring Boot: Para facilitar a criação, configuração, e implantação do job
2. Dependências mínimas
3. Classe de configuração Job: Trabalho que executa do começo ao fim sem interação
4. Configuração de Step: Etapas do job
-
9
Para se aprofundar...
-
10
Visão geral do framework Spring Batch -
11
Desafio: Implementação do primeiro projeto Spring Batch
-
12
Considerações Finais
- Recaptular o que foi visto
- Enfatizar o progresso
- Utilizar o QA em caso de problemas ou para trocar experiência
- Fazer a ponte para a próxima seção
-
13
Introdução
Nessa seção, você irá aprender dois conceitos chaves no spring batch: jobs e steps. Você aprenderá a configurá-los para criar o Job ideal para atender às necessidades de negócio.
-
14
Teoria: Definição e ciclo de vida do Job e seus Steps
Nessa aula, você entenderá como um job é definido dentro do Spring Batch e o seu ciclo de vida. Serão discutidos os seguintes pontos:
1. Componentes do Job
2. Job -> JobInstance -> JobExecution
3. Parâmetros
Na próxima aula, o primeiro job será utilizado para exibir essa arquitetura na prática.
-
15
Prática: Persistência de metadados no banco de dados
Nessa aula, serão discutidos os metadados do Spring Batch na prática. Para isso será feita a configuração do primeiro job que elaboramos, que será modificado para persistir dados no banco MySQL.
-
16
Prática: Múltiplas execuções e escopo
Nessa aula, continuaremos o exemplo anterior trabalhando com múltiplas execuções do job, parâmetros e step scope.
-
17
Teoria: Tipos de Steps
Nessa aula, você vai aprender como implementar steps do tipo tasklet e do tipo chunk e será capaz de identificar o cenário adequado para uso de cada um desses tipos.
-
18
Prática: Criação de um step chunk-based
A tasklet nós já implementamos, vamos só revisá-la. Para o exemplo do chunk, criaremos um contador que informa se um número é par ou ímpar, um exemplo simples para representar o uso do leitor, processador, e escritor.
Em anexo se encontra o esqueleto do projeto utilizado nessa aula.
-
19
Prática: Intervalo de Commit
Nessa aula, será explicado em mais detalhes como selecionar o intervalo de commit apropriado.
-
20
Prática: Refatoração do primeiro job
O job precisa ser refatorado para não configurar tudo na classe BatchConfig.
-
21
Para se aprofundar...
-
22
Trabalhando com Jobs e Steps
-
23
Configuração do Job
-
24
Refatoração do Job imprimeParImpar
-
25
Desafio: Tasklet ou Chunk?
-
26
Considerações Finais
- Recaptular o que foi visto
- Enfatizar o progresso
- Utilizar o QA em caso de problemas ou para trocar experiência
- Fazer a ponte para a próxima seção
-
27
Introdução
-
28
Prática: Externalização de propriedades
Nessa aula, serão realizados ajustes importantes no job pensando no ambiente de produção: externalização de propriedades.
-
29
Prática: Configuração de múltiplos bancos de dados
Nessa aula, serão realizados ajustes importantes no job pensando no ambiente de produção: múltiplos bancos de dados.
-
30
Prática: Configuração do log
Nessa aula, serão realizados ajustes importantes no job pensando no ambiente de produção: logging.
-
31
Para se aprofundar...
-
32
Jobs no ambiente produtivo
-
33
Desafio: Ajustes para ambiente produtivo do Job ImprimeParImpar
-
34
Considerações Finais
- Recaptular o que foi visto
- Enfatizar o progresso
- Utilizar o QA em caso de problemas ou para trocar experiência
- Fazer a ponte para a próxima seção
-
35
Intro
Nessa seção, vamos utilizar os principais leitores do framework Spring Batch e customizá-los quando necessário.
-
36
Teoria: Visão geral dos leitores do Spring Batch
Nessa aula, será dada uma visão geral dos leitores do Spring Batch.
Algumas referências: https://docs.spring.io/spring-batch/docs/4.2.x/reference/html/readersAndWriters.html#specializedProcessors
-
37
Teoria: Arquivos Flat
Nessa aula, será apresentado o tipo de arquivo Flat e seus subtipos mais comuns.
-
38
Prática: Leitura de arquivo de largura fixa
Nessa aula, será implementada a leitura de arquivo de largura fixa com Spring Batch.
-
39
Prática: Restart na leitura de arquivo
Nessa aula, será discutido o restart na leitura de arquivos com Spring Batch.
-
40
Prática: Leitura de arquivo delimitado
Nessa aula, será implementada a leitura de arquivo delimitado com Spring Batch.
-
41
Prática: Leitura de arquivo de múltiplos formatos
Nessa aula, será implementada a leitura de um arquivo que possui registros com diferentes formatos em cada linha. Para isso será utilizado o componente PatternMatchingCompositeLineMapper do Spring Batch.
-
42
Prática: Leitura de arquivo com registro em múltiplas linhas
Nessa aula, o exemplo passado será modificado para encapsular as informações do arquivo flat em um único objeto.
-
43
Prática: Padrão Delegate
Nessa aula, vamos implementar um padrão bastante usado no Spring Batch: o padrão Delegate.
-
44
Prática: Leitura de vários arquivos
Nessa aula, vamos implementar um leitor de múltiplos arquivos.
-
45
Para se aprofundar...
-
46
Teoria: Leitura em banco de dados - JDBC
Nessa aula, vamos falar sobre a leitura em banco de dados com o Spring Batch e o tipo de leitor mais performático: JDBC.
-
47
Prática: Leitura em banco de dados - JdbcCursorItemReader
Nessa aula, iremos implementar um leitor JDBCCursorItemReader.
-
48
Prática: Leitura em banco de dados - JdbcPagingItemReader
Nessa aula, iremos implementar um leitor JDBCPagingItemReader.
-
49
Prática: Cursor X Paginador
Nessa aula, vamos discutir as principais diferenças entre a leitura com cursor e paginador.
-
50
Prática: Tratamento de erros de leitura - Skip
Nessa aula, será configurado o skip de registros inválidos e serão logados esses dados no console.
-
51
Para se aprofundar...
-
52
Leitores do Spring Batch
-
53
Desafio: Leitores do Spring Batch
-
54
Considerações Finais
- Recaptular o que foi visto
- Enfatizar o progresso
- Utilizar o QA em caso de problemas ou para trocar experiência
- Fazer a ponte para a próxima seção
-
55
Intro
Nessa seção, vamos utilizar os principais processadores do framework Spring Batch e customizá-los, quando necessário.
-
56
Teoria: Visão geral dos processadores do Spring Batch
Nessa aula, teremos uma visão geral dos processadores do Spring Batch.
-
57
Prática: Processadores de validação
Nessa aula, vamos implementar um processador de validação de dados.
-
58
Prática: Processadores compostos
Nessa aula, vamos implementar um processador composto.
-
59
Prática: Processadores de execução de scripts
Nessa aula, vamos implementar um processador que executa um script para checar arquivos no sistema.
-
60
Prática: Processadores compostos com classificador
Nessa aula, vamos implementar um processador que utiliza um classificador.
-
61
Para se aprofundar...
-
62
Processadores do Spring Batch
-
63
Desafio: Processadores do Spring Batch
-
64
Considerações Finais
- Recaptular o que foi visto
- Enfatizar o progresso
- Utilizar o QA em caso de problemas ou para trocar experiência
- Fazer a ponte para a próxima seção
-
65
Intro
Nessa seção, vamos utilizar os principais escritores do framework Spring Batch e customizá-los, quando necessário.
-
66
Teoria: Visão geral dos escritores do Spring Batch
Nessa aula, vamos ter uma visão geral dos escritores do Spring Batch.
-
67
Prática: Escrita em arquivo flat formatado
Nessa aula, vamos aprender a escrever em arquivos flat com conteúdo formatado.
-
68
Prática: Escrita em arquivo flat delimitado
Nessa aula, vamos aprender a escrever em arquivos flat com conteúdo delimitado.
-
69
Prática: Escrita em arquivo flat customizado
Nessa aula, vamos aprender a escrever um arquivo flat com conteúdo customizado.
-
70
Prática: Escrita em arquivo flat com cabeçalho e rodapé
Nessa aula, vamos aprender a escrever um arquivo flat com cabeçalho e rodapé.
-
71
Prática: Escrita em vários arquivos flat
Nessa aula, vamos aprender a escrever em vários arquivos flat.
-
72
Para se aprofundar...
-
73
Prática: Escrita em banco de dados - JDBC
Nessa aula, vamos implementar um escritor JDBC.
-
74
Prática: Escritor composto - CompositeItemWriter
Nessa aula, vamos implementar um escritor composto.
-
75
Prática: Escritor com classificadores - ClassifierCompositeItemWriter
Nessa aula, vamos implementar um escritor que utiliza um classificador.
-
76
Para se aprofundar...
-
77
Escritores do Spring Batch
-
78
Desafio: Escritores do Spring Batch
-
79
Fim da primeira parte e próximas seções.
Nesse vídeo será encerrada a parte teórica de embasamento no Spring Batch e iniciada a parte de projetos para aplicar a teoria em cenários reais. Os projetos foram selecionados considerando aplicações comumente utilizadas pelas empresas e na sua elaboração serão discutidos aspectos mais avançados do framework. Você terá a oportunidade de usar o conhecimento adquirido em projetos tirados do dia a dia das empresas. Está preparado?
-
80
Apresentação do projeto
Nessa aula, será apresentado o projeto descrevendo os requisitos para a elaboração do sistema de migração de dados.
-
81
Configurações e projeto inicial
Nessa aula, será configurado o projeto inicial de migração de dados.
-
82
Leitura de arquivo delimitado
Nessa aula, será implementado um leitor de arquivo delimitado para o projeto de migração.
-
83
Escrita em banco de dados JDBC
Nessa aula, será implementado um escritor de banco de dados JDBC para escrever os dados processados no novo banco de dados.
-
84
Escritor de arquivo com relatório de itens inválidos
Nessa aula, você verá como escrever os itens que não foram processados em um arquivo no sistema.
-
85
Otimização do Job - Chunk Size e Steps Paralelos
Nessa aula, serão discutidas alternativas para tornar o job mais eficiente. Quando o número de dados a serem migrados é grande o job se torna bastante lento, por isso será implementada uma solução baseada em particionamento.
-
86
Projeto Final
-
87
Considerações Finais
