https://julianamarialop.github.io/tags/databricks/Recent content in Databricks on Ahead of the AIHugopt-BRTue, 03 Mar 2026 12:31:00 +0000https://julianamarialop.github.io/articles/databricks-lakebase-o-guia-definitivo-para-nova-era-de/Tue, 03 Mar 2026 12:31:00 +0000https://julianamarialop.github.io/articles/databricks-lakebase-o-guia-definitivo-para-nova-era-de/O Databricks Lakebase representa uma evolução significativa na arquitetura de dados, especificamente no domínio dos bancos de dados OLTP (Online Transactional Processing). Não se trata apenas de mais um banco de dados…https://julianamarialop.github.io/articles/de-etl-para-etl-a-ascensao-dos-pipelines-autonomos-e-o/Wed, 21 Jan 2026 17:30:00 +0000https://julianamarialop.github.io/articles/de-etl-para-etl-a-ascensao-dos-pipelines-autonomos-e-o/Imagine que você precisa ir de um ponto A a um ponto B. Há algumas décadas, sua única opção era um carro com câmbio manual, exigindo total atenção a cada troca de marcha e a cada movimento no trânsito. Com o tempo…https://julianamarialop.github.io/articles/ai-data-engineer-evolucao-do-engenheiro-de-dados-na-era/Wed, 07 Jan 2026 14:21:00 +0000https://julianamarialop.github.io/articles/ai-data-engineer-evolucao-do-engenheiro-de-dados-na-era/A profissão de engenheiro de dados está passando por sua maior transformação desde a migração para a nuvem. Durante anos, o foco esteve em construir pipelines eficientes, mover dados de um ponto a outro e garantir que…https://julianamarialop.github.io/articles/microsoft-fabric-ignite-2025-o-guia-completo-das-novidades/Tue, 25 Nov 2025 15:53:00 +0000https://julianamarialop.github.io/articles/microsoft-fabric-ignite-2025-o-guia-completo-das-novidades/O Microsoft Ignite 2025 não foi um evento sobre promessas futuras; foi sobre entregas concretas que marcam a maturidade do Microsoft Fabric . A plataforma deixou de ser uma coleção de ferramentas promissoras para se…https://julianamarialop.github.io/articles/construindo-um-arranha-ceu-de-dados-como-garantir-qualidade/Thu, 18 Sep 2025 17:14:00 +0000https://julianamarialop.github.io/articles/construindo-um-arranha-ceu-de-dados-como-garantir-qualidade/Imagine que você foi contratado para construir o maior arranha-céu da cidade. Seria um projeto incrível, não é mesmo? Mas e se eu te dissesse que você precisa usar tijolos rachados, cimento vencido e vigas de ferro…https://julianamarialop.github.io/articles/la-traviata-dos-dados-opera-tragica-de-como-o-fabric-nao/Mon, 25 Aug 2025 14:21:00 +0000https://julianamarialop.github.io/articles/la-traviata-dos-dados-opera-tragica-de-como-o-fabric-nao/Em maio de 2023, a Microsoft anunciou o Microsoft Fabric como uma solução revolucionária para unificar todos os workloads analíticos em uma única plataforma. A promessa era ambiciosa: lakehouse, data warehouse…https://julianamarialop.github.io/articles/databricks-one-o-superman-dos-dados-chegou-para-poder/Thu, 14 Aug 2025 13:06:00 +0000https://julianamarialop.github.io/articles/databricks-one-o-superman-dos-dados-chegou-para-poder/Assim como Clark Kent precisava se transformar em Superman para que pessoas comuns pudessem ser salvas, o mundo dos dados sempre exigiu que usuários de negócios se transformassem em “super-técnicos” para acessar…https://julianamarialop.github.io/articles/o-arsenal-completo-do-heroi-fabric-novos-poderes-e-de/Wed, 16 Jul 2025 14:19:00 +0000https://julianamarialop.github.io/articles/o-arsenal-completo-do-heroi-fabric-novos-poderes-e-de/Julho de 2025 chegou com uma chuva de atualizações que transformaram o Microsoft Fabric em um super-herói ainda mais poderoso. Como todo bom herói que se preza, o Fabric não para de evoluir, adquirindo novos poderes e…https://julianamarialop.github.io/articles/o-novo-escritorio-digital-como-os-agentes-de-ia-se-tornaram/Tue, 01 Jul 2025 18:09:00 +0000https://julianamarialop.github.io/articles/o-novo-escritorio-digital-como-os-agentes-de-ia-se-tornaram/Imagine um escritório onde os funcionários nunca se cansam, trabalham 24 horas por dia, aprendem constantemente e executam tarefas com precisão cirúrgica. Esse cenário, que parecia ficção científica há poucos anos…https://julianamarialop.github.io/articles/planta-baixa-perfeita-para-analytics-azure-solucoes-solidas/Fri, 06 Jun 2025 15:58:00 +0000https://julianamarialop.github.io/articles/planta-baixa-perfeita-para-analytics-azure-solucoes-solidas/No mundo atual, onde dados são o novo petróleo (ou talvez os novos tijolos?), construir soluções de Analytics robustas e eficientes no Azure tornou-se uma tarefa de engenharia complexa. Plataformas como Microsoft Fabric…https://julianamarialop.github.io/articles/spark-land-40-o-parque-de-diversoes-dos-dados-acaba-abrir/Thu, 29 May 2025 12:56:00 +0000https://julianamarialop.github.io/articles/spark-land-40-o-parque-de-diversoes-dos-dados-acaba-abrir/O Apache Spark tem sido, há mais de uma década, a plataforma de processamento de dados preferida por engenheiros e cientistas de dados ao redor do mundo. Com sua capacidade de processar grandes volumes de informações em…https://julianamarialop.github.io/articles/o-kit-de-chef-para-dados-como-databricks-asset-bundle/Thu, 22 May 2025 17:01:00 +0000https://julianamarialop.github.io/articles/o-kit-de-chef-para-dados-como-databricks-asset-bundle/Implantar projetos de dados em diferentes ambientes sempre foi um desafio comparável a tentar replicar um prato gourmet em diferentes cozinhas. Mesmo com os mesmos ingredientes, pequenas variações nas configurações, na…https://julianamarialop.github.io/articles/de-volta-para-o-futuro-dos-pipelines-como-delorean-do/Mon, 19 May 2025 17:54:00 +0000https://julianamarialop.github.io/articles/de-volta-para-o-futuro-dos-pipelines-como-delorean-do/Por anos, engenheiros de dados têm construído pipelines que conectam o Azure Data Factory (ADF) ao Databricks , uma combinação poderosa, mas que frequentemente exigia ajustes manuais e configurações complexas. Era como…https://julianamarialop.github.io/articles/o-universo-databricks-em-expansao-novas-constelacoes-de/Mon, 19 May 2025 16:58:00 +0000https://julianamarialop.github.io/articles/o-universo-databricks-em-expansao-novas-constelacoes-de/O universo Databricks está em constante expansão. Como uma galáxia viva e pulsante, a cada mês surgem novas “constelações” de recursos, integrações e aquisições que iluminam o caminho dos profissionais de dados e…https://julianamarialop.github.io/articles/o-tio-patinhas-esta-mudando-de-ideia-e-isso-tem-tudo-ver/Sat, 10 May 2025 22:19:00 +0000https://julianamarialop.github.io/articles/o-tio-patinhas-esta-mudando-de-ideia-e-isso-tem-tudo-ver/Durante décadas, Tio Patinhas foi o símbolo máximo da riqueza concentrada. Dono de uma fortuna colossal, ele preferia guardar seu dinheiro em um cofre gigante onde podia nadar literalmente em moedas de ouro. Só ele…https://julianamarialop.github.io/articles/azure-databricks-sql-pipe-syntax-domine-os-elementos-da/Fri, 09 May 2025 14:15:00 +0000https://julianamarialop.github.io/articles/azure-databricks-sql-pipe-syntax-domine-os-elementos-da/Quem trabalha com SQL sabe que, apesar de ser uma linguagem poderosa, escrever e entender queries complexas, especialmente aquelas com múltiplas subqueries aninhadas, pode ser um desafio. Muitas vezes, temos a sensação…https://julianamarialop.github.io/articles/monstros-sa-chega-de-susto-na-ingestao-databricks-abre/Mon, 05 May 2025 13:16:00 +0000https://julianamarialop.github.io/articles/monstros-sa-chega-de-susto-na-ingestao-databricks-abre/Quem aí é fã de Monstros S.A.? Lembram como a fábrica inteira dependia da energia dos gritos (e depois das risadas!) das crianças para manter Monstrópolis funcionando? No nosso universo de dados, podemos dizer que o…https://julianamarialop.github.io/articles/databricks-delta-sharing-e-o-buffet-de-dados-escolha-sirva-se/Thu, 06 Feb 2025 15:11:00 +0000https://julianamarialop.github.io/articles/databricks-delta-sharing-e-o-buffet-de-dados-escolha-sirva-se/Imagine um mundo onde compartilhar dados entre empresas seja tão simples quanto abrir um aplicativo de delivery e pedir sua refeição favorita. No lugar de processos complicados, transferências demoradas e preocupações…https://julianamarialop.github.io/articles/os-deuses-egipcios-e-inteligencia-artificial-como-construir/Fri, 31 Jan 2025 14:29:00 +0000https://julianamarialop.github.io/articles/os-deuses-egipcios-e-inteligencia-artificial-como-construir/Se os antigos egípcios pudessem construir uma inteligência artificial, provavelmente invocariam seus deuses para tornar o sistema mais sábio, ágil e eficiente. Assim como Rá iluminava o mundo , Tot registrava o…https://julianamarialop.github.io/articles/databricks-dqx-o-doutor-estranho-do-seu-pipeline-de-dados/Mon, 20 Jan 2025 13:45:00 +0000https://julianamarialop.github.io/articles/databricks-dqx-o-doutor-estranho-do-seu-pipeline-de-dados/Nos dias de hoje, a tomada de decisão baseada em dados é o coração das empresas. Entretanto, a eficácia dessas decisões depende diretamente da qualidade dos dados utilizados. Dados inconsistentes, incompletos ou…https://julianamarialop.github.io/articles/como-uma-colmeia-bem-organizada-explorando-os-clusters/Wed, 15 Jan 2025 13:45:00 +0000https://julianamarialop.github.io/articles/como-uma-colmeia-bem-organizada-explorando-os-clusters/O Databricks é uma plataforma robusta para processamento e análise de grandes volumes de dados, suportando cargas de trabalho que variam desde a engenharia de dados até a ciência de dados e análise de negócios. Um dos…https://julianamarialop.github.io/articles/databricks-e-watsonxdata-na-arena-dos-herois-quem-leva/Mon, 13 Jan 2025 13:30:00 +0000https://julianamarialop.github.io/articles/databricks-e-watsonxdata-na-arena-dos-herois-quem-leva/Nos últimos anos, a necessidade de plataformas robustas para análise de grandes volumes de dados tornou-se evidente para empresas que buscam se tornar mais orientadas por dados. Duas das soluções mais comentadas…https://julianamarialop.github.io/articles/como-modernizar-processos-cobol-com-databricks-uma-receita/Fri, 10 Jan 2025 19:12:00 +0000https://julianamarialop.github.io/articles/como-modernizar-processos-cobol-com-databricks-uma-receita/Depois de escrever o artigo anterior sobre migração de SAS para Databricks em formato de receita de bolo , gostei tanto da experiência que decidi repetir a ideia, mas desta vez com COBOL! Como o COBOL é uma linguagem…https://julianamarialop.github.io/articles/como-migrar-do-sas-para-databricks-uma-receita-de-bolo/Thu, 09 Jan 2025 13:17:00 +0000https://julianamarialop.github.io/articles/como-migrar-do-sas-para-databricks-uma-receita-de-bolo/Migrar uma plataforma consolidada como o SAS para o Databricks pode ser desafiador, mas quando seguimos uma receita de bolo bem estruturada, tudo fica mais simples e eficiente. Nesta receita, vamos dividir o processo em…https://julianamarialop.github.io/articles/transforme-seus-pipelines-em-super-herois-os-5-viloes/Thu, 09 Jan 2025 00:13:00 +0000https://julianamarialop.github.io/articles/transforme-seus-pipelines-em-super-herois-os-5-viloes/Que tal comparar os erros que sabotam seus pipelines de dados com vilões que vivem atrapalhando a missão dos super-heróis? Imagine que seu pipeline é o herói da história, encarregado de levar os dados até o destino…https://julianamarialop.github.io/articles/esfregue-lampada-e-obtenha-insights-um-guia-para-o-aibi/Mon, 21 Oct 2024 15:47:00 +0000https://julianamarialop.github.io/articles/esfregue-lampada-e-obtenha-insights-um-guia-para-o-aibi/Imagine poder conversar com seus dados como se estivesse falando com um colega de trabalho ou, melhor ainda, como se estivesse interagindo com um gênio da lâmpada mágica. É exatamente isso que o AI/BI Genie permite!…https://julianamarialop.github.io/articles/do-zero-ao-bronze-como-construi-uma-camada-de-dados-sem/Wed, 09 Oct 2024 21:31:00 +0000https://julianamarialop.github.io/articles/do-zero-ao-bronze-como-construi-uma-camada-de-dados-sem/No mundo dos dados, a criação de uma camada bronze, que organiza dados brutos em uma estrutura acessível para transformações subsequentes, tradicionalmente envolve bastante codificação. Porém, recentemente, explorei uma…https://julianamarialop.github.io/articles/que-forca-analitica-esteja-com-voce-explorando-o-databricks/Mon, 23 Sep 2024 15:56:00 +0000https://julianamarialop.github.io/articles/que-forca-analitica-esteja-com-voce-explorando-o-databricks/Nos últimos anos, Databricks se consolidou como uma plataforma poderosa, semelhante à força que guia os Jedi em suas missões, ajudando empresas a acelerar seus projetos de dados e análises. Assim como a união entre a…https://julianamarialop.github.io/articles/confronto-de-titas-databricks-vs-snowflake-na-batalha/Tue, 30 Jul 2024 15:00:00 +0000https://julianamarialop.github.io/articles/confronto-de-titas-databricks-vs-snowflake-na-batalha/Databricks e Snowflake são dois nomes em soluções de dados em nuvem. Ambas as plataformas têm sido fundamentais para ajudar as empresas a gerar valor a partir de seus ativos de dados internos e externos. Cada plataforma…https://julianamarialop.github.io/articles/analise-de-dados-em-terra-arrasada-o-declinio-do-azure/Fri, 26 Jul 2024 22:23:00 +0000https://julianamarialop.github.io/articles/analise-de-dados-em-terra-arrasada-o-declinio-do-azure/O Azure Synapse é a solução de Data Warehouse da Microsoft na nuvem Azure. No entanto, ele tem enfrentado concorrência interna do Databricks há algum tempo e, desde o ano passado, também do Microsoft Fabric .https://julianamarialop.github.io/articles/desvendando-o-databricks-unity-catalog-simplificando-governanca-tl24f/Thu, 18 Jul 2024 14:32:00 +0000https://julianamarialop.github.io/articles/desvendando-o-databricks-unity-catalog-simplificando-governanca-tl24f/O Databricks Unity Catalog facilita a compreensão dos dados pela sua equipe. Ele gera automaticamente informações sobre como os dados são usados, baseando-se nos registros de consumo dos clusters. Isso reflete o uso dos…https://julianamarialop.github.io/articles/futuro-conectado-unity-catalog-e-microsoft-fabric-juntos/Wed, 10 Jul 2024 13:28:00 +0000https://julianamarialop.github.io/articles/futuro-conectado-unity-catalog-e-microsoft-fabric-juntos/Este artigo reflete minhas experiências e pontos de vista pessoais, e não a posição oficial da Microsoft ou da Databricks. Além disso, embora esta postagem descreva cenários potenciais, ela não reflete necessariamente o…https://julianamarialop.github.io/articles/integrando-azure-databricks-e-microsoft-fabric-um-encontro-5hvbf/Mon, 08 Jul 2024 16:55:00 +0000https://julianamarialop.github.io/articles/integrando-azure-databricks-e-microsoft-fabric-um-encontro-5hvbf/Chegamos ao final da série “Integrando Azure Databricks e Microsoft Fabric”. Ao longo dessa jornada, exploramos como essas duas poderosas ferramentas podem ser combinadas para otimizar processos de análise de dados…https://julianamarialop.github.io/articles/integrando-azure-databricks-e-microsoft-fabric-um-encontro-ynikf/Fri, 05 Jul 2024 17:26:00 +0000https://julianamarialop.github.io/articles/integrando-azure-databricks-e-microsoft-fabric-um-encontro-ynikf/Isenção de responsabilidade: este artigo reflete minhas experiências e pontos de vista pessoais, não uma posição oficial da Microsoft Fabric ou Databricks .https://julianamarialop.github.io/articles/integrando-azure-databricks-e-microsoft-fabric-um-encontro-f2rsf/Thu, 04 Jul 2024 14:18:00 +0000https://julianamarialop.github.io/articles/integrando-azure-databricks-e-microsoft-fabric-um-encontro-f2rsf/Isenção de responsabilidade: este artigo reflete minhas experiências e pontos de vista pessoais, não uma posição oficial da Microsoft Fabric ou Databricks .https://julianamarialop.github.io/articles/integrando-azure-databricks-e-microsoft-fabric-um-encontro-fb1af/Tue, 02 Jul 2024 20:17:00 +0000https://julianamarialop.github.io/articles/integrando-azure-databricks-e-microsoft-fabric-um-encontro-fb1af/Isenção de responsabilidade: este artigo reflete minhas experiências e pontos de vista pessoais, não uma posição oficial da Microsoft Fabric ou Databricks .https://julianamarialop.github.io/articles/como-calcular-o-custo-real-das-instancias-do-sql-warehouse/Sat, 29 Jun 2024 22:21:00 +0000https://julianamarialop.github.io/articles/como-calcular-o-custo-real-das-instancias-do-sql-warehouse/Vamos aprender como calcular o custo das instâncias do SQL Warehouse no Microsoft Azure Databricks de uma maneira fácil? Então acompanhe esse artigo.https://julianamarialop.github.io/articles/databricks-sql-e-modelagem-dimensional-otimizando-seu/Thu, 23 May 2024 14:06:00 +0000https://julianamarialop.github.io/articles/databricks-sql-e-modelagem-dimensional-otimizando-seu/No dinâmico cenário do armazenamento de informações, as metodologias utilizadas para estruturar dados desempenham um papel crucial na descoberta de insights valiosos para a tomada de decisões informadas. Desde as…https://julianamarialop.github.io/articles/databricks-lakehouse-federation-explorando-exemplos-praticos/Thu, 25 Apr 2024 14:23:00 +0000https://julianamarialop.github.io/articles/databricks-lakehouse-federation-explorando-exemplos-praticos/Dando continuidade ao artigo anterior, “Databricks Lakehouse Federation: Uma Alternativa ao ETL Zero?” , vamos explorar alguns exemplos práticos para a combinação de dados em diferentes origens.https://julianamarialop.github.io/articles/databricks-lakehouse-federation-uma-alternativa-ao-etl/Wed, 24 Apr 2024 20:48:00 +0000https://julianamarialop.github.io/articles/databricks-lakehouse-federation-uma-alternativa-ao-etl/Lançada em Dezembro de 2023, a funcionalidade de Federação Lakehouse está atualmente em Prévia Pública, mas possui um enorme potencial. No artigo de hoje, explorarei algumas visões interessantes, como a capacidade de…https://julianamarialop.github.io/articles/databricks-melhores-praticas-para-gerenciamento-de-bronze/Thu, 05 Oct 2023 13:00:00 +0000https://julianamarialop.github.io/articles/databricks-melhores-praticas-para-gerenciamento-de-bronze/Muitos clientes com os quais trabalho implementam uma arquitetura Medallion para organizar logicamente seus dados em um Lakehouse. À medida que os dados fluem, eles passam por vários estágios ou camadas. O design mais…https://julianamarialop.github.io/articles/melhores-praticas-do-azure-data-factory-e-databricks/Fri, 29 Sep 2023 13:00:00 +0000https://julianamarialop.github.io/articles/melhores-praticas-do-azure-data-factory-e-databricks/Olá a todos, essa semana vamos apresentar algumas melhores práticas para um pipeline de ingestão de dados:https://julianamarialop.github.io/articles/principais-diferencas-entre-o-azure-synapse-e-databricks/Thu, 21 Sep 2023 15:31:00 +0000https://julianamarialop.github.io/articles/principais-diferencas-entre-o-azure-synapse-e-databricks/Olá pessoal, nesse artigo vou comentar um pouco sobre essas plataformas de dados.https://julianamarialop.github.io/articles/dica-de-databricks-como-verificar-origem-do-dado-por-arquivo/Thu, 22 Jun 2023 13:24:00 +0000https://julianamarialop.github.io/articles/dica-de-databricks-como-verificar-origem-do-dado-por-arquivo/Não seria um sonho tem uma coluna na sua tabela Bronze (ou Landing como quiser chamar) que informe de qual arquivo o dado foi originado ?https://julianamarialop.github.io/articles/databricks-o-canivete-suico-da-sua-plataforma-big-data/Tue, 23 Apr 2019 16:07:00 +0000https://julianamarialop.github.io/articles/databricks-o-canivete-suico-da-sua-plataforma-big-data/Imagine uma equipe formada por um desenvolvedor SQL, um profissional de Pyhton e um colaborador de Scala. Todos eles trabalham juntos em prol de realizar ingestões de dados no seu Datalake, Datawarehouse um simplesmente…