Categoria: Base de Dados

Direito aos Dados …

Com todas as evoluções tecnológicas, o processamento de dados potenciou novos negócios e mercados, no entanto também vieram alguns problemas. Principalmente relacionados a privacidade e propriedade dos dados. As empresas possuem um manancial de dados, e nós somos os principais produtores, como um estudo anual da DOMO demonstra o crescimento da volumetria nas diversas fontes de

Continue lendo

Column Store

Base de dados em formato column store, é um caminho para executar queries analíticas em SQL. Algumas bases de dados já possuem funcionalidades que permitem esta utilização. Por muitas vezes, em soluções de analytics, manter a solução simples traz bons resultados. Atualmente, as bases de dados relacionais representam uma grande fatia dos sistemas de armazenamento de dados,

Continue lendo

Replicação para Apache Kafka via OGG

Apache Kafka é um serviço de mensagens de grande throughput e baixa latência para publicar mensagens em tempo real. Softwares que foram utilizados: Oracle Database 12c Oracle Goldengate 12c para Base de Dados Oracle Oracle Goldengate 12c para Big Data (Big Data Adapters) Apache Kafka 2.11 Configurações do processo de replicação: 1) Processo de extração (extract): Configuração

Continue lendo

Oracle to Hive – Part II

Para replicar (CDC) dados para o Hive via Goldengate, neste exemplo irei utilizar os processos de extract e pump. Como exemplo vou replicar (CDC) de uma tabela XPTO. Estou a mencionar o CDC (Change Data Capture), pois para o carregamento inicial, irei exemplificar com outra ferramenta que é o Sqoop. Para a configuração do pump, será necessário

Continue lendo

Oracle to Hive – Part I

Com a crescente realidade das tecnologias escaláveis de baixo custo e grande desempenho, o Big Data vem se afirmando cada dia mais como um conceito indispensável para as empresas, que precisam melhorar e acelerar as capacidades de decisão e com uma excelente adequação a realidade de crise financeira em escala mundial. O mergulho neste oceano

Continue lendo