Column Store

Base de dados em formato column store, é um caminho para executar queries analíticas em SQL. Algumas bases de dados já possuem funcionalidades que permitem esta utilização. Por muitas vezes, em soluções de analytics, manter a solução simples traz bons resultados. Atualmente, as bases de dados relacionais representam uma grande fatia dos sistemas de armazenamento de dados, … Continue lendo Column Store

Systemtap

O systemtap é uma ferramenta útil, que permite extrair métricas e informação de performance do Linux. A vantagem, é que permite "programar" o que queremos extrair e correlacionar. Para funcionar, é preciso obter o Systemtap, a partir de: https://sourceware.org/systemtap/ftp/releases/ Antes de compilar e instalar o Systemtap, é preciso garantir que o kernel-devel, elfutils-devel e elfutils-libelf estejam instalados … Continue lendo Systemtap

Replicação para Apache Kafka via OGG

Apache Kafka é um serviço de mensagens de grande throughput e baixa latência para publicar mensagens em tempo real. Softwares que foram utilizados: Oracle Database 12c Oracle Goldengate 12c para Base de Dados Oracle Oracle Goldengate 12c para Big Data (Big Data Adapters) Apache Kafka 2.11 Configurações do processo de replicação: 1) Processo de extração (extract): Configuração … Continue lendo Replicação para Apache Kafka via OGG

Oracle to Hive – Part II

Para replicar (CDC) dados para o Hive via Goldengate, neste exemplo irei utilizar os processos de extract e pump. Como exemplo vou replicar (CDC) de uma tabela XPTO. Estou a mencionar o CDC (Change Data Capture), pois para o carregamento inicial, irei exemplificar com outra ferramenta que é o Sqoop. Para a configuração do pump, será necessário … Continue lendo Oracle to Hive – Part II