Com todas as evoluções tecnológicas, o processamento de dados potenciou novos negócios e mercados, no entanto também vieram alguns problemas. Principalmente relacionados a privacidade e propriedade dos dados. As empresas possuem um manancial de dados, e nós somos os principais produtores, como um estudo anual da DOMO demonstra o crescimento da volumetria nas diversas fontes de … Continue lendo Direito aos Dados …
Base de dados em formato column store, é um caminho para executar queries analíticas em SQL. Algumas bases de dados já possuem funcionalidades que permitem esta utilização. Por muitas vezes, em soluções de analytics, manter a solução simples traz bons resultados. Atualmente, as bases de dados relacionais representam uma grande fatia dos sistemas de armazenamento de dados, … Continue lendo Column Store
As soluções de base de dados, vem a evoluir de forma acelerada, seja pelo advento do Big Data, seja pelo esforço de tecnologias Open-Source. A base de dados MariaDB, é das tecnologias que tem me chamado a atenção e de forma positiva. Em sua recente versão, a 10.3, agora há suporte para PL/SQL, uma grande … Continue lendo Olá PL/SQL, disse MariaDB 🙂
O Apache NiFi é um projeto de software da Apache Software Foundation, que permite a automação do fluxo de dados entre sistemas. Pode ser comparado como uma mistura do Oracle Goldengate e ODI, ambas ferramentas da Oracle. O projeto é escrito usando programação baseada em fluxo e fornece uma interface de usuário baseada na web … Continue lendo Apache NiFi
O ramfs, permite criar uma estrutura de filesystem em memória, e como óbvio, é uma estrutura volátil, portanto, todo cuidado é pouco para não se perder os dados. Mas para alguns caso é interessante para acelerar o processamento. Para "migrar" os dados do MariaDB para uma ramfs, é necessário seguir os seguintes passos: 1) Criar … Continue lendo MariaDB e RAMFS
Apache Kafka é um serviço de mensagens de grande throughput e baixa latência para publicar mensagens em tempo real. Softwares que foram utilizados: Oracle Database 12c Oracle Goldengate 12c para Base de Dados Oracle Oracle Goldengate 12c para Big Data (Big Data Adapters) Apache Kafka 2.11 Configurações do processo de replicação: 1) Processo de extração (extract): Configuração … Continue lendo Replicação para Apache Kafka via OGG
Para replicar (CDC) dados para o Hive via Goldengate, neste exemplo irei utilizar os processos de extract e pump. Como exemplo vou replicar (CDC) de uma tabela XPTO. Estou a mencionar o CDC (Change Data Capture), pois para o carregamento inicial, irei exemplificar com outra ferramenta que é o Sqoop. Para a configuração do pump, será necessário … Continue lendo Oracle to Hive – Part II
Com a crescente realidade das tecnologias escaláveis de baixo custo e grande desempenho, o Big Data vem se afirmando cada dia mais como um conceito indispensável para as empresas, que precisam melhorar e acelerar as capacidades de decisão e com uma excelente adequação a realidade de crise financeira em escala mundial. O mergulho neste oceano … Continue lendo Oracle to Hive – Part I
Em tempos, fiz um post sobre o Galera cluster, que é um mecanismo mais sofisticado e que se tem apostado mais. No entanto uma simples replicação de dados entre um MASTER e SLAVE pede uma configuração simples. Este SLAVE pode servir ter um servidor dedicado para leitura e queries de suporte a decisão, retirando … Continue lendo MariaDB: Replicação Master-Slave
O Block Editor, é um utilitário utilizado pelo Suporte Oracle para Troubleshooting e que também permite escrever nos blocos de dados. É uma ferramenta interessante para se estudar a estrutura interna dos blocos e o funcionamento da armazenagem. Atenção: Este utiliário permite escrever nos blocos, muita atenção, pois pode corromper os dados de uma BD, … Continue lendo Old School: Block Editor (BBED) – Parte 1
