Apache Kafka é um serviço de mensagens de grande throughput e baixa latência para publicar mensagens em tempo real. Softwares que foram utilizados: Oracle Database 12c Oracle Goldengate 12c para Base de Dados Oracle Oracle Goldengate 12c para Big Data (Big Data Adapters) Apache Kafka 2.11 Configurações do processo de replicação: 1) Processo de extração (extract): Configuração… Leia mais Replicação para Apache Kafka via OGG
Para replicar (CDC) dados para o Hive via Goldengate, neste exemplo irei utilizar os processos de extract e pump. Como exemplo vou replicar (CDC) de uma tabela XPTO. Estou a mencionar o CDC (Change Data Capture), pois para o carregamento inicial, irei exemplificar com outra ferramenta que é o Sqoop. Para a configuração do pump, será necessário… Leia mais Oracle to Hive – Part II
Com a crescente realidade das tecnologias escaláveis de baixo custo e grande desempenho, o Big Data vem se afirmando cada dia mais como um conceito indispensável para as empresas, que precisam melhorar e acelerar as capacidades de decisão e com uma excelente adequação a realidade de crise financeira em escala mundial. O mergulho neste oceano… Leia mais Oracle to Hive – Part I
O Block Editor, é um utilitário utilizado pelo Suporte Oracle para Troubleshooting e que também permite escrever nos blocos de dados. É uma ferramenta interessante para se estudar a estrutura interna dos blocos e o funcionamento da armazenagem. Atenção: Este utiliário permite escrever nos blocos, muita atenção, pois pode corromper os dados de uma BD,… Leia mais Old School: Block Editor (BBED) – Parte 1
Em um fim de semana destes que passou estive empenhando em construir algumas VMs com algumas versões antigas de Oracle. Tive logo duas dificuldades, desenterrar alguns binários e o mais difícil foi encontrar ISOs de sistemas operativos há muito obsoletos. O terceiro grande desafio, foi resolver problemas e encontrar software para corrigir bug de SO… Leia mais Nostalgia de um DBA
Uma tarefa recorrenta na vida de um DBA é o processo de clonagem de base de dados, seja para atualizar ambientes de desenvolvimento e qualidade, ou para criar ambientes para a realização de algum teste. Além do processo, que normalmente ocupa tempo, existe sempre a questão do espaço, que deve ser o mesmo a cada… Leia mais Clonar uma BD Oracle
A segunda forma de fazer queries a partir de uma BD Greenplum a uma BD Oracle é através do SQL*Plus. A primeira hipotese foi com a utilzação de Java e driver JDBC, conforme este post. O que pode ser uma vantagem, por ser um cliente nativo Oracle. 1) O utilizador gpadmin deve ter um cliente… Leia mais “DBLink” de Greenplum para Oracle – Parte 2 (Com sqlplus)
No post anterior, temos uma configuração de um Database Link onde a partir de uma BD Oracle consultamos dados em Greenplum, e ao contrário, há solução? Sim, pelo menos já conheço duas. A primeira é através de um driver JDBC. Para esta utilização serão utilizados os seguintes recursos: 1) Drive JDBC: O drive JDBC deve… Leia mais “DBLink” de Greenplum para Oracle
A configuração de uma ligação via Database Link de Oracle para Greenplum é feita atráves do Heterogeneous Service (HS). Partindo do principio que temos uma BD de Greenplum e outra de Oracle, a configuração é feita através de um driver ODBC, portanto antes de configurar o HS temos que preparar o ambiente: 1) Instalação do… Leia mais DBLink do Oracle para o Greenplum – Heterogeneous Service
Greenplum é uma base de dados baseado em PostgreSQL aplicado aos conceitos de “Shared-Nothing” e “Massively Parallel Processing”. Uma das principais perguntas é como migrar dados ou mesmo manter algum tipo de replicação. Existem várias soluções no mercado, comercias e open-sources. Em relação ao open-source testei o Ora2Pg, Outsourcer (Pivotal) e SymmetricDS. O Outsourcer, que… Leia mais Replicando de Oracle para Greenplum
Split-Brain! 