Replicação para Apache Kafka via OGG

Apache Kafka é um serviço de mensagens de grande throughput e baixa latência para publicar mensagens em tempo real. Softwares que foram utilizados: Oracle Database 12c Oracle Goldengate 12c para Base de Dados Oracle Oracle Goldengate 12c para Big Data (Big Data Adapters) Apache Kafka 2.11 Configurações do processo de replicação: 1) Processo de extração (extract): Configuração … Continue lendo Replicação para Apache Kafka via OGG

Oracle to Hive – Part II

Para replicar (CDC) dados para o Hive via Goldengate, neste exemplo irei utilizar os processos de extract e pump. Como exemplo vou replicar (CDC) de uma tabela XPTO. Estou a mencionar o CDC (Change Data Capture), pois para o carregamento inicial, irei exemplificar com outra ferramenta que é o Sqoop. Para a configuração do pump, será necessário … Continue lendo Oracle to Hive – Part II

Oracle to Hive – Part I

Com a crescente realidade das tecnologias escaláveis de baixo custo e grande desempenho, o Big Data vem se afirmando cada dia mais como um conceito indispensável para as empresas, que precisam melhorar e acelerar as capacidades de decisão e com uma excelente adequação a realidade de crise financeira em escala mundial. O mergulho neste oceano … Continue lendo Oracle to Hive – Part I

MariaDB: Replicação Master-Slave

  Em tempos, fiz um post sobre o Galera cluster, que é um mecanismo mais sofisticado e que se tem apostado mais. No entanto uma simples replicação de dados entre um MASTER e SLAVE pede uma configuração simples. Este SLAVE pode servir ter um servidor dedicado para leitura e queries de suporte a decisão, retirando … Continue lendo MariaDB: Replicação Master-Slave

Old School: Block Editor (BBED) – Parte 1

O Block Editor, é um utilitário utilizado pelo Suporte Oracle para Troubleshooting e que também permite escrever nos blocos de dados. É uma ferramenta interessante para se estudar a estrutura interna dos blocos e o funcionamento da armazenagem. Atenção: Este utiliário permite escrever nos blocos, muita atenção, pois pode corromper os dados de uma BD, … Continue lendo Old School: Block Editor (BBED) – Parte 1

MariaDB com Cassandra SE

Cassandra é uma base de dados mantida pela Apache Software Foundation, é baseado no Dynamo (da Amazon) e Big Table (da Google). Foi desenvolvida inicialmente pela Facebook, no entanto a Apache é responsável pelo atual desenvolvimento. Uma base de dados com um background interessante e baseado em tecnologias de alta performance. E porque não juntar … Continue lendo MariaDB com Cassandra SE

Nostalgia de um DBA

Em um fim de semana destes que passou estive empenhando em construir algumas VMs com algumas versões antigas de Oracle. Tive logo duas dificuldades, desenterrar alguns binários e o mais difícil foi encontrar ISOs de sistemas operativos há muito obsoletos. O terceiro grande desafio, foi resolver problemas e encontrar software para corrigir bug de SO … Continue lendo Nostalgia de um DBA

“DBLink” de Greenplum para Oracle – Parte 2 (Com sqlplus)

A segunda forma de fazer queries a partir de uma BD Greenplum a uma BD Oracle é através do SQL*Plus. A primeira hipotese foi com a utilzação de Java e driver JDBC, conforme este post. O que pode ser uma vantagem, por ser um cliente nativo Oracle. 1) O utilizador gpadmin deve ter um cliente … Continue lendo “DBLink” de Greenplum para Oracle – Parte 2 (Com sqlplus)

Cluster – MariaDB Galera

MariaDB Cluster Galera é uma solução de base de dados totalmente open-source e com funcionamento em cluster. O funcionamento é baseado em "synchronous multi-master" e para já suporta apenas InnoDB/XtraDB como mecanismo de armazenamento. O deploy desta solução é extremamente rápida, esta intalação utilizei 2 VMs com CentOS 6: 192.168.56.201 galera01.m04m.com 192.168.56.202 galera02.m04m.com 1) Adicionar … Continue lendo Cluster – MariaDB Galera