2 anos depois! #opensource

Ap√≥s 2 anos do post que fiz (ver aqui) relativo a movimenta√ß√£o/utiliza√ß√£o de tecnologias de base de dados, o movimento de mudan√ßa continua. Em 2 anos, uma subida de 5% para as tecnologias baseadas em open source, e uma descida de 5% das solu√ß√Ķes com licen√ßas comerciais. Fonte:¬†DB-Engines.com A Apache, talvez o maior silo de … Continue lendo 2 anos depois! #opensource

Column Store

Base de dados em formato¬†column store, √© um caminho para executar queries anal√≠ticas em SQL. Algumas bases de dados j√° possuem funcionalidades que permitem esta utiliza√ß√£o. Por muitas vezes, em solu√ß√Ķes de¬†analytics, manter a solu√ß√£o simples traz bons resultados. Atualmente, as bases de dados relacionais representam uma grande fatia dos sistemas de armazenamento de dados, … Continue lendo Column Store

Ol√° PL/SQL, disse MariaDB :)

As solu√ß√Ķes de base de dados, vem a evoluir de forma acelerada, seja pelo advento do Big Data, seja pelo esfor√ßo de tecnologias Open-Source. A base de dados MariaDB, √© das tecnologias que tem me chamado a aten√ß√£o e de forma positiva. Em sua recente vers√£o, a 10.3, agora h√° suporte para PL/SQL, uma grande … Continue lendo Ol√° PL/SQL, disse MariaDB ūüôā

Realidade Open-Source e bodas de porcelana

Hoje l√° vai um post, n√£o t√©cnico, mas sim uma reflex√£o, dos meus 20 anos como profissional de TI, 20 anos de uma cumplicidade com os bits e bytes. Desde que iniciei a trabalhar, como instrutor em pequeno curso de inform√°tica (a dar aulas de Visual Basic), tinha duas certezas, que aquele pequeno passo seria … Continue lendo Realidade Open-Source e bodas de porcelana

Apache NiFi

O Apache NiFi √© um projeto de software da Apache Software Foundation, que permite a automa√ß√£o do fluxo de dados entre sistemas. Pode ser comparado como uma mistura do Oracle¬† Goldengate e ODI, ambas ferramentas da Oracle. O projeto √© escrito usando programa√ß√£o baseada em fluxo e fornece uma interface de usu√°rio baseada na web … Continue lendo Apache NiFi

MariaDB e RAMFS

  O ramfs, permite criar uma estrutura de filesystem em mem√≥ria, e como √≥bvio, √© uma estrutura vol√°til, portanto, todo cuidado √© pouco para n√£o se perder os dados. Mas para alguns caso √© interessante para acelerar o processamento. Para "migrar" os dados do MariaDB para uma¬†ramfs, √© necess√°rio seguir os seguintes passos: 1) Criar … Continue lendo MariaDB e RAMFS

Systemtap

O systemtap √© uma ferramenta √ļtil, que permite extrair m√©tricas e informa√ß√£o de performance do Linux. A vantagem, √© que permite "programar" o que queremos extrair e correlacionar. Para funcionar, √© preciso obter o Systemtap, a partir de:¬†https://sourceware.org/systemtap/ftp/releases/ Antes de compilar e instalar o Systemtap, √© preciso garantir que o kernel-devel,¬†elfutils-devel e elfutils-libelf estejam instalados … Continue lendo Systemtap

Replica√ß√£o para Apache Kafka via OGG

Apache Kafka¬†√© um servi√ßo de mensagens¬†de grande throughput e baixa lat√™ncia para publicar mensagens em tempo real. Softwares que foram utilizados: Oracle Database 12c Oracle Goldengate 12c para Base de Dados Oracle Oracle Goldengate 12c para Big Data (Big Data Adapters) Apache Kafka 2.11 Configura√ß√Ķes do processo de replica√ß√£o: 1) Processo de extra√ß√£o (extract): Configura√ß√£o … Continue lendo Replica√ß√£o para Apache Kafka via OGG

Oracle to Hive ‚Äď Part II

Para replicar (CDC) dados para o Hive via Goldengate, neste exemplo irei utilizar os processos de extract¬†e¬†pump. Como exemplo vou replicar (CDC) de uma tabela XPTO. Estou a mencionar o CDC (Change Data Capture), pois para o carregamento inicial, irei exemplificar com outra ferramenta que √© o Sqoop. Para a configura√ß√£o do pump, ser√° necess√°rio … Continue lendo Oracle to Hive ‚Äď Part II