Pentaho Data Integration (PDI) - Kettle

Pentaho Data Integration (PDI) - Kettle


Neste Tutorial: - Video 1 (In this Tutorial: - Video 1)
Criar Transformação (Create Transformation)
Criar Conexão de BD (Create DB Connection)

Neste Tutorial: - Video 2 (In this Tutorial: - Video 2 )
Criar Consultas (Create Queries )
Criar Joins (Crate Joins )
Ordenação (Sorting)

Neste Tutorial: - Video 3 ( In this Tutorial: - Video 3  )
Concatenação (Concatenation)
Data Sistema (System Date)
LEFT e CASE (LEFT and CASE sintax)

Neste Tutorial: - Video 4 (In this Tutorial: - Video 4)
Técnicas de validação e retorno de campo (Lookup). -Validation techniques and field return (Lookup). -

Neste Tutorial: - Video 5 (In this Tutorial: - Video 5)
Uso de variáveis (Variables)

Neste Tutorial: - Video 6 (In this Tutorial: - Video 6)
Java Script
Validação e criação de campo indicador (Validation and flag field)

SAS Directions MG 2014

Treinamento ODI 11G (ODI 11G Training) 4/14

Vídeo número 4 (Video # four):

Criar Contexto, Arquitetura Física e Lógica e Modelos.

(Create Context, Logical and Physical Architecture and Models)

Video Transcript:

Português:

Click no botão para criar um novo contexto.
Informe o nome do contexto.
Digite: Development
Informe o código do contexto.
Digite: CONTEXT1
Informe a senha.
Digite: oracle1
Marque o checkbox: Default
Agora crie a arquitetura física.
Escolha o item "Oracle" e em seguida "Novo Servidor de Dados".
Digite o nome da conexão.
Como boa prática para a formação do nome, digite primeiro o SID e em seguidao nome do esquema.
Digite: ORCL_TRNREL
Informe o SID.
Digite: orcl
Informe o usuário.
Digite: TrRel
Informe a senha.
Digite: Laboratoriosql1
Informe o driver JDBC.
Informe a URL.
Informe o nome da conexão.
Digite: ORCL_TRNDIM
Informe o SID.
Digite: orcl
Informe o usuário.
Digite: TrDim
Informe a senha.
Digite: Laboratoriosql1
Informe o driver e a URL.
Crie a Arquitetura Lógica.
Escolha a opção "Oracle" e em seguida "Novo Esquema Lógico".
Informe o nome do esquema lógico.
Digite: ORCL_TRNREL
Agora crie o esquema lógico para a conexão com o banco de dados de destino.
Informe o nome do esquema lógico.
Digite: ORCL_TRNDIM
De volta à Arquitetura física crie um esquema físico para cada conexão com o BD.
Click com o botão direito sobre a conexão e escolha a opção "Novo Esquema Físico".
Associe a conexão com o esquema físico.
Adicione o contexto.
Associe o esquema físico ao esquema lógico.
Repita o processo para a conexão com o banco de dados de origem.
Agora crie um modelo para cada esquema (Origem e Destino). E importe as tabelas.
Digite o nome da pasta que irá conter os modelos dos dados de origem.
Digite o nome da pasta que irá conter os modelos dos dados de destino.
Click com o botão direito do mouse sobre a pasta "Origem" e escolha a opção "Novo Modelo".
Click vom o botão direito do mouse sobre a pasta "Origem" e escolha a opção "Novo Modelo".
Informe o nome do modelo.
Digite: TrnRel
Informe a Tecnologia.
Escolha: Oracle
Associe ao esquema lógico.
Escolha: ORCL_TRNREL
Click no botão [Engenharia Reversa] para retornar as tabelas do banco de origem.
Repita o processo para o banco de dados de destino.
Click com o botão direito do mouse sobre uma tabela e escolha a opção "Dados".
Fim do vídeo.


English:
Click the button to create a new context .
Enter the name of the context .
Type : Development
Enter the code context .
Type : Context1
Enter the password .
Type : ORACLE1
Mark the checkbox : Default
Now create the physical architecture .
Choose the item " Oracle " and then " New Data Server " .
Enter the connection name .
As good practice for the training name , first enter the SID and seguidao schema name .
Type : ORCL_TRNREL
Enter the SID .
Type : orcl
Inform the user .
Type : TrRel
Enter the password .
Type : Laboratoriosql1
Enter the JDBC driver .
Enter the URL .
Enter the name of the connection.
Type : ORCL_TRNDIM
Enter the SID .
Type : orcl
Inform the user .
Type : TrDim
Enter the password .
Type : Laboratoriosql1
Tell the driver and URL .
Create Logical Architecture .
Choose the " Oracle " and then " New Logical Schema " .
Enter the name of the logical schema .
Type : ORCL_TRNREL
Now create the logical schema to connect to the target database .
Enter the name of the logical schema .
Type : ORCL_TRNDIM
Back to Physical Architecture create a physical schema for each connection to the database .
Right click on the link and choose " New Physical Schema " .
Associate the connection with the physical schema .
Add context.
Associate the physical schema to the logical schema .
Repeat the process for connecting to the database source .
Now create a template for each schema ( Origin and Destination ) . And import the tables .
Enter the name of the folder that will contain models of the source data .
Enter the name of the folder that will contain the target data models .
Click with the right mouse button on the folder "Source" and choose " New Model " .
Click vom right- click on the folder "Source" and choose " New Model " .
Enter the model name .
Type : TrnRel
Notify Technology .
Choose : Oracle
Assign the logical schema .
Choose : ORCL_TRNREL
Click the button [ Reverse Engineering ] to return the database tables of origin .
Repeat the process for the database target .
Click with the right mouse button on a table and choose " Data " .
End of video.

Treinamento ODI 11G (ODI 11G Training) 3/14

Vídeo número 3 (Video # three):

Criar conexão com Repositório de trabalho (Create Work Repository connection)

Video Transcript:

Click no menu "ODI" e em seguida na opção "Conectar".
(Click on the menu "ODI" and then on "Connect".)

Click em [OK]
Escolha a aba "Repositórios".
(Choose the tab "Repositories".)

Click com o botão direito do mouse e escolha a opção "Novo Repositório de Trabalho".
(Click with the right mouse button and choose "New Work Repository".)

Altere  o usuário para: snpm1
(Change the user to: snpm1)

Click no botão [Testar Conexão]
(Click the [Test Connection])

Click no botão [Próximo]
(Click the [Next] button)

Digite a senha: trabalho
(Enter password: work)

Click no botão [Finalizar]
(Click the [Finish] button)

Click no botão [Sim].
(Click the [Yes] button)

Digite: WORKREP1
(Type: WORKREP1)

Click no botão [OK]
(Click the  [OK] button)

Repositório Criado.
(Repository created)

Treinamento ODI 11G (ODI 11G Training) 2/14

Vídeo número 2 (Video # two):

Criar usuário para o Repositório Master (Create user for Master Repository)

Video Transcript:

Criar usuário para o Repositório Master
(Create user for the Master Repository)

Click no menu "Arquivo" e em seguida na opção "Novo".
(Click the "File" menu and "New" option.)

Escolha a opção "Criar um Novo Log-in do Repositório ODI"
(Choose "Create a new login ODI Repository")

Click no botão [OK].
(Click the button [OK].)

Digite o nome do Log-in.
(Enter the name of the login.)

Digite: Master Repository
(Type: Master Repository)

Digite o nome do usuário.
(Enter the user name.)

Digite: SUPERVISOR
(Type: SUPERVISOR)

Informe a senha.
(Enter the password.)

Digite: Laboratoriosql1
(Type: Laboratoriosql1)

Informe os dados para conexão com o banco de dados do repositório.
(Enter the data for connecting to the database repository.)

Digite: snpm1
(Type: snpm1)

Informe a senha:
(Enter the password:)

Digite: oracle1
(Type: ORACLE1)

Em "Lista de Drivers" escolha "Oracle JDBC Driver".
(In "List of Drivers" choice "Oracle JDBC Driver".)

Informe a url de conexão com o BD.
(Enter the url connection to the database.)

Click no botão [Testar].
(Click the [Test] button.)

Click no botão [OK]
(Click the button [OK])

Usuário criado
(User created)

Treinamento ODI 11G (ODI 11G Training) 1/14

Este E-learning é o primeiro vídeo de um conjunto que será publicado demonstrando como aplicar técnicas de carga de um DW através de uma ferramenta de ELT, o Oracle Data Integrator 11G.

(This E-learning is the first video of a series to be published demonstrating how to apply load techniques to a DW through an ELT tool, Oracle Data Integrator 11g.)

Vídeo número 1 (Video # one):

Criar o Repositório Mestre (Create Master Repository)

Note que já existe um esquema de BD criado com o nome de snpm1 no Oracle.
(Note that's already exist a BD scheme created with the name of the Oracle snpm1.)

Informe a senha que você registrar para este esquema (Não obrigatoriamente a mesma do vídeo).
(Enter the password that you typed for this scheme (not necessarily the same as that video))

SAP Business Objects Data Services por Gláucia Sibele

1. 

2. 

O BO Data Services é um software que permite planejar, organizar, desenvolver e administrar de forma visual os processos de ETL.

Benefícios:

•          Facilita o processo de organização de dados de diferentes fontes através de uma interface gráfica.

•          Extrai, transforma e carrega os dados de fontes heterogenias em um único banco de dados usando processos que organizam os fluxos de carga.

•          Compartilha objetos em um ambiente de ETL onde exista mais de um desenvolvedor.

•          Permite a administração dos projetos via WEB.

Arquitetura do Data Services:

O SAP BO Data Services contêm diversos componentes para desenvolver e administrar as rotinas de ETL, sendo eles:

•          Designer:

o    Interface de desenvolvimento para criar, testar e executar manualmente os processos de ETL.

•          Repository Manager:

o    Permite criar, atualizar e verificar as versões dos repositórios locais e Central.

–         Repositório Local: Armazena as definições dos objetos do Data Services Designer (como projetos, jobs, work flows e data flows) e metadados de origem/destino.

§  Cada desenvolvedor deve ter seu repositório local, ou seja, o repositório é individual

•       Repositório Central: Componente opcional utilizado para apoiar o desenvolvimento multiusuário.

•          Funciona como um SharePoint => Controla a versão dos objetos desenvolvidos.

•          Apenas um repositório central para todos os desenvolvedores. Deve-se criar o repositório Central com segurança para que apenas usuários cadastrados tenham o acesso ao projeto e Jobs desenvolvidos.

o    Repositórios devem estar criados no servidor de banco de dados.

•          Server Manager:

o     Responsável pela execução dos Jobs do Data Services Designer. Nele vinculam-se os repositórios locais para execução e configuração SMTP para envio de e-mail.

•          Management Console

o     Provê a administração e gerenciamento dos recursos do Data Services Designer via WEB. Nele é possível:

–         Agendamento, monitoramento e execução dos Batch jobs

–         Interrupção da execução dos Batch Jobs   

–         Configuração dos Repositórios Locais

–         Configuração do Repositório Central

–         Criação dos grupos e usuários para acesso ao Repositório Central

1.   Data Services Designer

Interface do Data Services Designer, possui:

- Barra de menu

- Project Area,

- Local Object Library

- Star Page.

}  Project Area: Possibilita visualizar os Jobs vinculados ao projeto, como também monitorar e verificar o log de execução. Contêm as seguintes abas.

•       Designer: Criar, visualizar e gerenciar projetos. Fornece uma visão hierárquica de todos os objetos utilizados no processo.

•       Monitor: Exibi o status das execuções dos Jobs e possibilita finalizar o processo durante a execução.

•       Log: Local onde se visualiza o histórico completo de execução dos jobs. Também podem ser visualizados com o Data Services Management Console.

  

}  Local Object Library

Job: Objeto executável. Pode conter:

·         Scripts: Para envio de e-mail, deleção de registros no banco de dados, habilitar e desabilitar índices e demais verificações necessárias em banco de dados e etc.

·         Conditional: Objeto utilizado para uma condição de execução do processo.

·         Work Flow: Objeto onde seqüencia-se e ordena-se o fluxo de execução. Composto por Data Flows. Também é utilizado para definir estratégias de tratamento de erros que possam ocorrer durante a execução do Job (bloco Try/Catch).

·         Data Flow: Processo pelo qual os dados de origem são transformados e carregados no destino. Envolve a extração o tratamento e a transferência dos dados de origem de uma ou mais fontes para uma ou mais tabelas ou arquivos de destino.

Projects: Agrupa os Jobs do processo de ETL.

•          Os Jobs devem ser associados a um projeto antes de serem executados na área de Projeto (Project Area) do Designer para que se possa monitorar e/ou cancelar o processo.

Datastore: Configuração da conexão com o banco de dados. Contêm a lista de tabelas que serão utilizadas no processo.

Formats: Definição dos Flat Files de origem e destino.

Transforms: Agrupa os componentes que serão utilizados para o processo de carga e demais transformações nos dados. Sendo os mais utilizados:

–         Query: Lookups, funções e demais transformações

–         SQL: Querys livres

–         Case: Condicional para gerar uma ou várias saídas

–         Merge: União dos dados vindos de várias origens

–         Key_Generation: Geração da Surrogate Key

–         History_Preserving: Slowly Change Dimension 2

–         Table_Comparison: Update, SCD 1

 

  

Start Page:

Local para o desenvolvimento das rotinas de ETL.