Domine o Pentaho Data Integration: Do Básico ao Avançado

Em uma era onde a informação é o novo petróleo, saber como canalizar, interpretar e transformar dados em decisões estratégicas é a chave para dominar o campo digital. Mas aqui está a verdade: enquanto muitos falam sobre ciência de dados e análise, poucos realmente entendem o coração pulsante por trás desses termos - o Data Warehousing e a Inteligência de Negócios (DW/BI).

Baixe Pentaho Community Edition, é uma versão de código aberto com motores principais na plataforma que permite experimentar recursos e capacidades reduzidos. Extraia, transforme e carregue conjuntos de dados (ETL) e crie visualizações com a ferramenta de designer de relatórios do Pentaho.

No Pentaho Data Integration (PDI), também conhecido como Kettle, os "hops" são utilizados para definir o fluxo dos dados entre os steps. As setas e ícones nos hops têm significados específicos:

Seta Lisa (sem ícone): Esta seta indica um fluxo de dados normal entre dois steps. Os dados são simplesmente passados do step de origem para o step de destino.

Ícone de Duas Folhas: Este ícone representa um "Error Hop". Ele é usado para direcionar as linhas de dados que encontram algum tipo de erro no step de origem para um step de destino específico. Em outras palavras, se ocorrer um erro durante a execução do step de origem, os registros que causaram o erro serão enviados ao step ligado pelo "Error Hop". Isso é útil para tratamento de erros, registro de problemas ou filtragem de dados que não atendem a certos critérios.

Nesta aula o aluno irá aprender como trabalhar com os steps unique rows e sort rows em conjunto.

Se você selecionou S para Classificar com base na localidade atual?, especifique um número inteiro entre 0 e 3 que define que tipo de diferenças condicionais devem ser aplicadas ao fazer uma ordenação.

Nesta aula, você tem alguns arquivos de texto simples e deseja saber o que é dito neles. Você não quer lê-los, então decide contar as vezes que as palavras aparecem no texto, e ver as mais frequentes para ter uma ideia do que são os arquivos.

Regex utilizado para remover acentos e caracteres especiais [][!"#$%&'()*+,./:;<=>?@^_`{|}~-]

Atualização Importante Sobre a API do Twitter para os Alunos do Curso

Caros alunos,

É importante que vocês estejam cientes das recentes mudanças anunciadas pelo Twitter em relação ao acesso à sua API. Estas mudanças têm implicações diretas para o nosso curso, principalmente na seção onde ensinamos a extrair dados do Twitter usando o Pentaho Data Integration.

Novos Planos de API do Twitter:

- Planos Disponíveis: Grátis, Básico e Corporativo/Empresarial.

- Plano Grátis: Permite o uso da API apenas para escrita e testes, com um limite de 1.500 tweets publicados por mês via app, não permite coletar Twitters.

- Plano Básico (Pago): Permite publicar até 3.000 tweets por usuário e ler mais 10.000 tweets, com um custo de US$ 100 (aproximadamente R$ 513,59) por mês.

- Plano Pro (Pago): Permite publicar até 300.000 tweets por usuário e ler mais 1 Milhão de tweets, com um custo de US$ 5000 (aproximadamente R$ 24.201,50) por mês.

Impacto no Nosso Curso:

- Descontinuação do Acesso Gratuito: Com o fim do acesso gratuito, não será mais possível para os alunos replicar algumas partes da aula relacionadas à API do Twitter sem custo.

- Aplicação do Conhecimento Adquirido: Apesar desta limitação, os conhecimentos adquiridos em nosso curso são valiosos e podem ser aplicados em diversos contextos, além de serem úteis para aqueles que optarem por se inscrever nos planos pagos da API do Twitter.

Recursos Adicionais:

- Para mais informações sobre os planos da API do Twitter, visite o [Portal do Desenvolvedor](https://developer.twitter.com/en/docs/developer-portal/overview).

- Para aprender a criar Apps e obter tokens para coletar dados de redes sociais, incluindo Twitter, Instagram e LinkedIn, leia este [artigo no Medium](https://medium.com/@marlessonsantana/como-criar-apps-e-obter-os-tokens-necess%C3%A1rios-para-coletar-dados-do-twitter-instagram-linkedin-e-8f36602ea92a).

Agradecemos a compreensão e estamos à disposição para quaisquer dúvidas ou esclarecimentos adicionais.

Nesta aula será visto como criar duas saídas diferentes para uma mesma entrada de dados. Será apresentado durante a aula um gerador de nuvem de tags todo customizado em Python. O aluno aprenderá como criar uma nuvem de tags utilizando os dados coletados do twitter, será visto como fazer as alterações e analisar logs de erro durante a implementação dos ajustes.

Nesta aula veremos como utilizar o step stream lookup.

1. Split field to rows

2. Replace in string

3. String operators

4. Split fields

5. Filter rows

6. Sort rows

7. Memory group by
   

Nesta aula veremos como copiar nosso conjunto de dados e enviá-los para destinos distintos em tempo de execução. Utilizamos nessa aula os steps:

• Text file input

• Split fields

• Select values

• If field value is null

• Value mapper

• Sort rows

• Group by

• Microsoft excel output

Distribuir linhas é usado para dividir linhas em vários destinos, geralmente para balanceamento de desempenho.

O step Switch/Case funciona como um interruptor, onde dependendo da entrada que ele receber, lhe direciona para sentidos diferentes que você define.

Nessa aula o aluna aprenderá como unir dois fluxos de dados em apenas um.

O Step Sorted Merge executa um comando similar ao FULL OUTER JOIN do SQL, vez que retorna todos os registros quando há uma correspondência nos registros da tabela esquerda (tabela1) ou direita (tabela2).
Atenção: em SQL, FULL OUTER JOIN e FULL JOIN são a mesma coisa.

Nesta aula o aluno fará um mini projeto onde serão aplicados os conceitos de algumas aulas anteriores. Veremos como tratar erros previstos e erros não previstos, iremos analisar o resultado do ETL após processamento para fazer mais tratamento nos dados caso seja necessário.

Nesta aula você irá aprender como converter uma lista de datas por status em colunas de status com suas respectivas datas, algo comum no dia a dia de quem trabalha com análise de dados para calcular tempos médios.

Apresentando o step Row Flattener

Nesta aula, exploramos um dos aspectos mais intrigantes e úteis do Pentaho Data Integration: a capacidade de realizar operações com a linha anterior. Muitas vezes, ao trabalhar com transformações de dados, surge a necessidade de comparar registros consecutivos, calcular variações ou criar acumulativos. Este tutorial detalhado guia você através dos passos e técnicas necessárias para dominar essas operações. Aprenda como:

• Configurar e usar o step 'Lag Rows' para acessar dados da linha anterior.

• Realizar cálculos entre linhas consecutivas.

• Implementar práticas recomendadas para garantir eficiência e precisão.

Dimensões são conjuntos de atributos úteis para descrever um negócio. A dimensão do tempo é especial, usada para descrever um negócio em termos de quando as coisas aconteceram. Basta pensar na dimensão de tempo como uma lista de datas junto com atributos que descrevem essas datas. Por exemplo, dada a data 01/08/2022, você sabe que é um dia de agosto, pertence ao terceiro trimestre do ano, e é segunda-feira. Esses são alguns dos atributos para essa data.

Nesta aula você verá como funciona uma dimensão tempo real.

Nesta aula iremos instalar o Banco de Dados MySQL que será utilizado como exemplo para esta seção de integração do Pentaho com Banco de Dados.
Link para download https://dev.mysql.com/downloads/mysql/

Nesta aula iremos criar o banco de dados que será utilizado como exemplo para as próximas aulas.

Nesta aula iremos configurar mais um repositório ao Pentaho, mostrando as diferenças entre os servidores de banco de dados PostgreSQL e MySQL

Nesta aula veremos como copiar dados de uma tabela do MySQL para o PostgreSQL

Nesta aula veremos como copiar os dados de um database de stage e enviar para um database de dw.

Uma das maneiras de tornar suas consultas mais flexíveis é passando alguns parâmetros. Nesta aula, você aprenderá como fazê-lo.

Outra maneira de tornar suas consultas flexíveis é usando variáveis Kettle. Vamos explicar como fazer isso usando um exemplo.

Nesta aula veremos como deletar registros utilizando duas opções de steps, Delete e Execute SQL Script.