Real Time BI e Change Data Capture

Real-time business intelligence (RTBI) é o processo de fornecer informações sobre as operações de negócios assim que elas ocorrem.

As operações de negócio assim que ocorrem são alimentadas no sistema RTBI em tempo real (Ou Near real time) que demonstra o estado atual da empresa; permitindo assim não somente as clássicas visões do passado do sistema de DW. Fornecendo suporte tático em tempo real para impulsionar ações de empresas para que reajam imediatamente aos eventos que ocorrerem.

Uma das tecnologias que melhor fornece a habilidade de carga de dados Real Time e o CDC (Change Data Capture).

CDC é um conjunto de padrões de software usados ​​para determinar (e rastrear) os dados que foram alterados de modo que uma ação pode ser tomada utilizando os dados alterados. Além disso, Change Data Capture (CDC) é uma abordagem para a integração de dados que se baseia na identificação, captura e entrega das modificações realizadas nas fontes de dados corporativas.

Exemplo de como ativar o CDC no SQL Server 2008:

1- O Serviço Agent do SQL Server 2008 precisa estar ativo.

2- Código para habilitar o CDC.

/*Habilita o Banco para uso do CDC*/

USE DB_NAME

GO

exec sys.sp_cdc_enable_db

-- Mostra os BDs com CDC ativo

select name, is_cdc_enabled from sys.databases

/*Habilita a tabela para o CDC*/

exec sys.sp_cdc_enable_table

    @source_schema = 'dbo',

    @source_name = 'TABLE_NAME' ,

    @role_name = 'CDCRole',

    @supports_net_changes = 1

/*Esse exemplo habilita as colunas a serem rastreadas*/

EXEC sys.sp_cdc_enable_table

@source_schema = N'dbo',

@source_name   = N'TABLE_NAME',

@role_name     = NULL,

@captured_column_list = '[COLUMN_NAME1],[ COLUMN_NAME2]'

   

/*Lista Tabelas rastreadas pelo CDC*/

select name, type, type_desc, is_tracked_by_cdc from sys.tables

where is_tracked_by_cdc = 1

-- ou

EXEC sys.sp_cdc_help_change_data_capture

Real Time BI and Change Data Capture (English Version)

Real-time business intelligence (RTBI) is the process of delivering information about business operations as they occur.

Business operations as they occur are fed into the RTBI system in real time (Or Near real time) which shows the current state of the company; allowing not only the classical visions of the past of classical DW system. Providing real-time tactical support to boost shares of companies to immediately respond to events as they occur.

One of the technologies that best provides the ability to load data and Real Time CDC (Change Data Capture).

CDC is a set of software design patterns used to determine (and track) the data that has changed so that action can be taken using the changed data. Also, Change data capture (CDC) is an approach to data integration that is based on the identification, capture and delivery of the changes made to enterprise data sources.

Example of how to enable CDC in SQL Server 2008:

1 - The SQL Server Agent service needs to be active.

2 - Code to enable the CDC.

/* Enables the database to use the CDC*/

USE DB_NAME

GO

exec sys.sp_cdc_enable_db

-- Shows DBs with active CDC

select name, is_cdc_enabled from sys.databases

/* Enables the table for use CDC */

exec sys.sp_cdc_enable_table

    @source_schema = 'dbo',

    @source_name = 'TABLE_NAME' ,

    @role_name = 'CDCRole',

    @supports_net_changes = 1

/* This example enables the columns to be tracked*/

EXEC sys.sp_cdc_enable_table

@source_schema = N'dbo',

@source_name   = N'TABLE_NAME',

@role_name     = NULL,

@captured_column_list = '[COLUMN_NAME1],[ COLUMN_NAME2]'

   

/* Tables listed to be tracked by CDC*/

select name, type, type_desc, is_tracked_by_cdc from sys.tables

where is_tracked_by_cdc = 1

-- or

EXEC sys.sp_cdc_help_change_data_capture

Surrogate Key (English Version)

Surrogate Key

The Surrogate word can be interpreted as an artificial synthetic product that is used to replace a natural product; Surrogate = Substitute; Applying this definition to dimensional modeling can say that a synthetic key is an artificial key that is used to replace a natural key the transactional environment.

The Surrogate Key (numeric, incremental and meaningless) arises from a concern not to have an informational database, linked and dependent on a transactional database. That is, has the benefit of immunize the DW  of the environmental changes and operational changes. Having the key independent of all other columns insulates possible changes in relationships of values ​​from the database or database design (making the database faster) ensuring the singularities.

Usually generate the surrogate key column based on a numeric data type which varies storing bytes according to the value stored. That is, if a field NUMERIC (10) is used in the definition of a Surrogate Key value will not be stored ten positions indicated in the definition of the field, but the actual value stored with the limit of ten positions. In Oracle this characteristic can be observed using the function VSIZE.

ETL tools have several tasks for the generation of Surrogates Key's as SAS Data Integration Studio, SAP Data Services, IBM Data Stage and etc..

DBMS solutions can also provide the generation of these keys as the data type  IDENTITY of SQL Server and  Oracle SEQUENCE function.

Why use Surrogate Key:

•        Keys transactional can be reused;

•        Treatment of historic dimensions;

•        Saving space;

•        Enable the integration of databases that have not integrated codes matching in transactional databases;

•        Enable the creation of control values ​​without including in transactional environment. Example: Client not registered, open date, etc..;

•        Improved performance in joins between tables.

How should be a Surrogate Key:

•        Must be an integer;

•        Sequential numbering increasing;

•        Must start at 1 until the required number;

•        There must have implicit meaning;

•        Shouldn't be a composite of transactional key.

Surrogate Key

Surrogate Key

A palavra Surrogate pode ser vista como um produto artificial sintético que é utilizado para substituir um produto natural; Surrogate = Substituta; Aplicando essa definição à modelagem dimensional pode-se dizer que uma chave sintética é uma chave artificial que é utilizada para substituir uma chave natural do ambiente transacional.

A Surrogate Key (campo numérico, incremental e sem significado) nasce da preocupação de não se ter uma base de dados informacional, vinculada e dependente de uma base transacional. Ou seja, possui como benefício imunizar o DW de mudanças de ambiente e de alterações operacionais. Ter a chave independente de todas as outras colunas isola possíveis mudanças de valores nos relacionamentos do banco de dados ou projeto do banco de dados (tornando a base de dados mais ágil) garantindo as singularidades.

Costumamos gerar a Surrogate Key baseada em uma coluna do tipo de dados numérico o qual varia o armazenamento de bytes de acordo com o valor armazenado. Ou seja, se um campo NUMERIC(10) for utilizado na definição de uma Surrogate Key o valor armazenado não será das dez posições indicadas na definição do campo, mas sim a do valor real armazenado com o limite de dez posições. No Oracle essa característica pode ser observada utilizando-se a função VSIZE.

Várias ferramentas de ETL possuem tarefas para a geração de Surrogates Key's , como SAS Data Integration Studio, SAP Data Services, IBM Data Stage e etc.

Soluções de BD's também podem prover a geração destas chaves como o tipo de Dados IDENTITY do SQL Server e a função SEQUENCE do Oracle.

Porque utilizar as Surrogate Key's:

·         Chaves transacionais podem ser reutilizadas;

·         Tratamento de histórico nas dimensões;

·         Economia de espaço;

·         Possibilitar a integração de bases de dados não integradas que possuam códigos transacionais coincidentes;

·         Possibilitar a criação de valores de “controle” sem implicar na sua inclusão no ambiente transacional. Exemplo: Cliente não cadastrado, Data em aberto, etc.;

·         Melhoria de performance nos joins entre tabelas.

Como deve ser uma Surrogate Key:

·         Deve ser um número inteiro;

·         Numeração seqüencial crescente;

·         Deve iniciar em 1 até o número necessário;

·         Não deve ter Significado implícito;

·         Não deve ser uma composição de chaves do transacional.