Ahead of the AI
O gerenciamento eficaz de pipelines de dados é fundamental para garantir processos contínuos de desenvolvimento, teste e implantação. A integração do Git com os espaços de trabalho do Microsoft Fabric oferece uma…
Dando continuidade ao artigo anterior, “Databricks Lakehouse Federation: Uma Alternativa ao ETL Zero?” , vamos explorar alguns exemplos práticos para a combinação de dados em diferentes origens.
Lançada em Dezembro de 2023, a funcionalidade de Federação Lakehouse está atualmente em Prévia Pública, mas possui um enorme potencial. No artigo de hoje, explorarei algumas visões interessantes, como a capacidade de…
CI é a prática de testar automaticamente cada alteração de código, enquanto o CD implementa essas alterações nos sistemas de staging ou produção. No Azure Data Factory, a CI/CD envolve a movimentação de pipelines entre…
Muitos clientes com os quais trabalho implementam uma arquitetura Medallion para organizar logicamente seus dados em um Lakehouse. À medida que os dados fluem, eles passam por vários estágios ou camadas. O design mais…
Olá a todos, essa semana vamos apresentar algumas melhores práticas para um pipeline de ingestão de dados:
As soluções tradicionais de análise de dados em grande escala contam com data warehouses e consultas SQL para armazenar e recuperar dados. No entanto, a ascensão do big data, caracterizada por grandes #volumes …
Olá pessoal, nesse artigo vou comentar um pouco sobre essas plataformas de dados.
Não seria um sonho tem uma coluna na sua tabela Bronze (ou Landing como quiser chamar) que informe de qual arquivo o dado foi originado ?
Em maio de 2023, a Microsoft anunciou o Microsoft Fabric . Essa nova solução amplia a promessa de integração feita no Azure Synapse Analytics para abranger todas as cargas de trabalho analíticas, podendo ser utilizada…
O tempo passa, novas técnicas, linguagens e ferramentas de ingestão de dados surgem, mas é uma verdade universal. SQL nunca sai de moda !
Essa semana (Junho/2020) saiu uma atualização do GCP onde é possível utilizar o comando EXECUTE IMMEDIATE no BigQuery. Para mais informações veja a documentação .
