https://julianamarialop.github.io/tags/engenharia-de-dados/Recent content in Engenharia de Dados on Ahead of the AIHugopt-BRMon, 22 Jun 2026 11:48:00 +0000https://julianamarialop.github.io/articles/rayfin-o-mecanico-que-faltava-para-seu-carro-chegar-ao/Mon, 22 Jun 2026 11:48:00 +0000https://julianamarialop.github.io/articles/rayfin-o-mecanico-que-faltava-para-seu-carro-chegar-ao/Imagine que você contratou o piloto mais talentoso da Fórmula 1. Ele é rápido, intuitivo e consegue tirar o máximo de qualquer carro. Mas quando chega na largada, o veículo que você entregou para ele é um protótipo sem…https://julianamarialop.github.io/articles/o-cerebro-por-tras-da-magica-como-anthropic-claude-professor/Mon, 08 Jun 2026 12:03:00 +0000https://julianamarialop.github.io/articles/o-cerebro-por-tras-da-magica-como-anthropic-claude-professor/Se você já assistiu aos X-Men, sabe que o poder do Professor Xavier não está apenas em ler mentes. O verdadeiro poder dele está no Cérebro, a máquina que amplifica suas habilidades e permite que ele encontre a agulha no…https://julianamarialop.github.io/articles/o-fera-nao-construiu-cerebro-em-um-dia-jornada-evolutiva/Mon, 20 Apr 2026 21:51:00 +0000https://julianamarialop.github.io/articles/o-fera-nao-construiu-cerebro-em-um-dia-jornada-evolutiva/Quando os X-Men entram em combate, o mundo vê Wolverine, Tempestade, Ciclope. Ninguém vê Hank McCoy, o Fera, trabalhando nos sistemas por baixo. Mas é ele quem projetou o Cerebro. É ele quem mantém a Sala de Perigo…https://julianamarialop.github.io/articles/tempestade-nao-precisou-aprender-voar-para-controlar-o/Thu, 16 Apr 2026 11:30:00 +0000https://julianamarialop.github.io/articles/tempestade-nao-precisou-aprender-voar-para-controlar-o/Existe uma crença no mundo de dados que poucos questionam: a IDE é território de desenvolvedor. O VS Code, com suas pastas, arquivos e terminal, seria um ambiente hostil para quem não escreve código todos os dias.https://julianamarialop.github.io/articles/databricks-lakebase-o-guia-definitivo-para-nova-era-de/Tue, 03 Mar 2026 12:31:00 +0000https://julianamarialop.github.io/articles/databricks-lakebase-o-guia-definitivo-para-nova-era-de/O Databricks Lakebase representa uma evolução significativa na arquitetura de dados, especificamente no domínio dos bancos de dados OLTP (Online Transactional Processing). Não se trata apenas de mais um banco de dados…https://julianamarialop.github.io/articles/o-despertar-da-forca-de-data-engineer-ai-em-90-dias-com/Tue, 24 Feb 2026 11:56:00 +0000https://julianamarialop.github.io/articles/o-despertar-da-forca-de-data-engineer-ai-em-90-dias-com/No vasto universo de Star Wars, a Força conecta tudo, mas apenas os Jedi mais dedicados conseguem dominá-la para construir e comandar sabres de luz e holocrons inteligentes. No nosso universo da tecnologia, a transição…https://julianamarialop.github.io/articles/o-salto-de-fe-data-engineer-ai-em-90-dias-ecossistema/Fri, 20 Feb 2026 13:40:00 +0000https://julianamarialop.github.io/articles/o-salto-de-fe-data-engineer-ai-em-90-dias-ecossistema/No universo de Assassin’s Creed, o Salto de Fé é um ato de coragem, técnica e confiança. Não é um salto cego, mas um movimento calculado que exige conhecimento do terreno e precisão para alcançar um novo patamar. No…https://julianamarialop.github.io/articles/de-etl-para-etl-a-ascensao-dos-pipelines-autonomos-e-o/Wed, 21 Jan 2026 17:30:00 +0000https://julianamarialop.github.io/articles/de-etl-para-etl-a-ascensao-dos-pipelines-autonomos-e-o/Imagine que você precisa ir de um ponto A a um ponto B. Há algumas décadas, sua única opção era um carro com câmbio manual, exigindo total atenção a cada troca de marcha e a cada movimento no trânsito. Com o tempo…https://julianamarialop.github.io/articles/planta-baixa-do-software-desmistificando-analise-de-pontos/Thu, 08 Jan 2026 21:19:00 +0000https://julianamarialop.github.io/articles/planta-baixa-do-software-desmistificando-analise-de-pontos/Você já tentou explicar para um cliente quanto vai custar um projeto de software e ouviu: “Mas por que demora tanto?” ou “Por que custa isso tudo?”. A dificuldade está em traduzir funcionalidade em tamanho, e tamanho em…https://julianamarialop.github.io/articles/ai-data-engineer-evolucao-do-engenheiro-de-dados-na-era/Wed, 07 Jan 2026 14:21:00 +0000https://julianamarialop.github.io/articles/ai-data-engineer-evolucao-do-engenheiro-de-dados-na-era/A profissão de engenheiro de dados está passando por sua maior transformação desde a migração para a nuvem. Durante anos, o foco esteve em construir pipelines eficientes, mover dados de um ponto a outro e garantir que…https://julianamarialop.github.io/articles/microsoft-fabric-ignite-2025-o-guia-completo-das-novidades/Tue, 25 Nov 2025 15:53:00 +0000https://julianamarialop.github.io/articles/microsoft-fabric-ignite-2025-o-guia-completo-das-novidades/O Microsoft Ignite 2025 não foi um evento sobre promessas futuras; foi sobre entregas concretas que marcam a maturidade do Microsoft Fabric . A plataforma deixou de ser uma coleção de ferramentas promissoras para se…https://julianamarialop.github.io/articles/missao-marte-como-proteger-seus-pipelines-de-dados-com/Tue, 16 Sep 2025 17:05:00 +0000https://julianamarialop.github.io/articles/missao-marte-como-proteger-seus-pipelines-de-dados-com/Na engenharia aeroespacial, o fracasso não é uma opção. Cada lançamento de foguete, cada manobra orbital e cada aterrissagem em um planeta distante é o resultado de milhares de horas de testes, simulações e…https://julianamarialop.github.io/articles/la-traviata-dos-dados-opera-tragica-de-como-o-fabric-nao/Mon, 25 Aug 2025 14:21:00 +0000https://julianamarialop.github.io/articles/la-traviata-dos-dados-opera-tragica-de-como-o-fabric-nao/Em maio de 2023, a Microsoft anunciou o Microsoft Fabric como uma solução revolucionária para unificar todos os workloads analíticos em uma única plataforma. A promessa era ambiciosa: lakehouse, data warehouse…https://julianamarialop.github.io/articles/planta-baixa-perfeita-para-analytics-azure-solucoes-solidas/Fri, 06 Jun 2025 15:58:00 +0000https://julianamarialop.github.io/articles/planta-baixa-perfeita-para-analytics-azure-solucoes-solidas/No mundo atual, onde dados são o novo petróleo (ou talvez os novos tijolos?), construir soluções de Analytics robustas e eficientes no Azure tornou-se uma tarefa de engenharia complexa. Plataformas como Microsoft Fabric…https://julianamarialop.github.io/articles/spark-land-40-o-parque-de-diversoes-dos-dados-acaba-abrir/Thu, 29 May 2025 12:56:00 +0000https://julianamarialop.github.io/articles/spark-land-40-o-parque-de-diversoes-dos-dados-acaba-abrir/O Apache Spark tem sido, há mais de uma década, a plataforma de processamento de dados preferida por engenheiros e cientistas de dados ao redor do mundo. Com sua capacidade de processar grandes volumes de informações em…https://julianamarialop.github.io/articles/o-kit-de-chef-para-dados-como-databricks-asset-bundle/Thu, 22 May 2025 17:01:00 +0000https://julianamarialop.github.io/articles/o-kit-de-chef-para-dados-como-databricks-asset-bundle/Implantar projetos de dados em diferentes ambientes sempre foi um desafio comparável a tentar replicar um prato gourmet em diferentes cozinhas. Mesmo com os mesmos ingredientes, pequenas variações nas configurações, na…https://julianamarialop.github.io/articles/de-volta-para-o-futuro-dos-pipelines-como-delorean-do/Mon, 19 May 2025 17:54:00 +0000https://julianamarialop.github.io/articles/de-volta-para-o-futuro-dos-pipelines-como-delorean-do/Por anos, engenheiros de dados têm construído pipelines que conectam o Azure Data Factory (ADF) ao Databricks , uma combinação poderosa, mas que frequentemente exigia ajustes manuais e configurações complexas. Era como…https://julianamarialop.github.io/articles/o-universo-databricks-em-expansao-novas-constelacoes-de/Mon, 19 May 2025 16:58:00 +0000https://julianamarialop.github.io/articles/o-universo-databricks-em-expansao-novas-constelacoes-de/O universo Databricks está em constante expansão. Como uma galáxia viva e pulsante, a cada mês surgem novas “constelações” de recursos, integrações e aquisições que iluminam o caminho dos profissionais de dados e…https://julianamarialop.github.io/articles/monstros-sa-chega-de-susto-na-ingestao-databricks-abre/Mon, 05 May 2025 13:16:00 +0000https://julianamarialop.github.io/articles/monstros-sa-chega-de-susto-na-ingestao-databricks-abre/Quem aí é fã de Monstros S.A.? Lembram como a fábrica inteira dependia da energia dos gritos (e depois das risadas!) das crianças para manter Monstrópolis funcionando? No nosso universo de dados, podemos dizer que o…https://julianamarialop.github.io/articles/santo-upgrade-batman-o-robin-seu-sku-f2-agora-tem-acesso/Thu, 01 May 2025 21:38:00 +0000https://julianamarialop.github.io/articles/santo-upgrade-batman-o-robin-seu-sku-f2-agora-tem-acesso/E aí, pessoal da comunidade de dados! Sabe aquela sensação de estar em Gotham City… digo, na nossa Cidade dos Dados? Ela é vibrante, cheia de oportunidades, mas também repleta de desafios: temos os vilões da…https://julianamarialop.github.io/articles/como-migrar-do-sas-para-microsoft-fabric-uma-receita-de/Sat, 19 Apr 2025 16:13:00 +0000https://julianamarialop.github.io/articles/como-migrar-do-sas-para-microsoft-fabric-uma-receita-de/Migrar uma plataforma consolidada como o SAS pode parecer um desafio complexo. Mas, assim como preparar uma irresistível Banoffee, se seguirmos o passo a passo com calma e método, o resultado será delicioso! Inspirado…https://julianamarialop.github.io/articles/streaming-microsoft-fabric-linha-de-producao-do-futuro/Thu, 13 Feb 2025 18:06:00 +0000https://julianamarialop.github.io/articles/streaming-microsoft-fabric-linha-de-producao-do-futuro/Imagine uma linha de produção moderna, onde os produtos são fabricados em tempo real, sem interrupções. Agora, substitua os produtos por dados, e você terá uma ideia do que é o streaming de dados. Bem-vindos à fábrica…https://julianamarialop.github.io/articles/dbt-o-personal-trainer-que-transforma-seus-dados-em-atletas/Mon, 10 Feb 2025 12:46:00 +0000https://julianamarialop.github.io/articles/dbt-o-personal-trainer-que-transforma-seus-dados-em-atletas/Imagine que seus dados são como alguém sedentário que decidiu entrar em forma. O DBT (Data Build Tool) é o personal trainer que pega esses dados, cria um plano de treino adequado (transformações SQL) e os leva a um novo…https://julianamarialop.github.io/articles/databricks-dqx-o-doutor-estranho-do-seu-pipeline-de-dados/Mon, 20 Jan 2025 13:45:00 +0000https://julianamarialop.github.io/articles/databricks-dqx-o-doutor-estranho-do-seu-pipeline-de-dados/Nos dias de hoje, a tomada de decisão baseada em dados é o coração das empresas. Entretanto, a eficácia dessas decisões depende diretamente da qualidade dos dados utilizados. Dados inconsistentes, incompletos ou…https://julianamarialop.github.io/articles/como-uma-colmeia-bem-organizada-explorando-os-clusters/Wed, 15 Jan 2025 13:45:00 +0000https://julianamarialop.github.io/articles/como-uma-colmeia-bem-organizada-explorando-os-clusters/O Databricks é uma plataforma robusta para processamento e análise de grandes volumes de dados, suportando cargas de trabalho que variam desde a engenharia de dados até a ciência de dados e análise de negócios. Um dos…https://julianamarialop.github.io/articles/transforme-seus-pipelines-em-super-herois-os-5-viloes/Thu, 09 Jan 2025 00:13:00 +0000https://julianamarialop.github.io/articles/transforme-seus-pipelines-em-super-herois-os-5-viloes/Que tal comparar os erros que sabotam seus pipelines de dados com vilões que vivem atrapalhando a missão dos super-heróis? Imagine que seu pipeline é o herói da história, encarregado de levar os dados até o destino…https://julianamarialop.github.io/articles/do-zero-ao-bronze-como-construi-uma-camada-de-dados-sem/Wed, 09 Oct 2024 21:31:00 +0000https://julianamarialop.github.io/articles/do-zero-ao-bronze-como-construi-uma-camada-de-dados-sem/No mundo dos dados, a criação de uma camada bronze, que organiza dados brutos em uma estrutura acessível para transformações subsequentes, tradicionalmente envolve bastante codificação. Porém, recentemente, explorei uma…https://julianamarialop.github.io/articles/que-forca-analitica-esteja-com-voce-explorando-o-databricks/Mon, 23 Sep 2024 15:56:00 +0000https://julianamarialop.github.io/articles/que-forca-analitica-esteja-com-voce-explorando-o-databricks/Nos últimos anos, Databricks se consolidou como uma plataforma poderosa, semelhante à força que guia os Jedi em suas missões, ajudando empresas a acelerar seus projetos de dados e análises. Assim como a união entre a…https://julianamarialop.github.io/articles/confronto-de-titas-databricks-vs-snowflake-na-batalha/Tue, 30 Jul 2024 15:00:00 +0000https://julianamarialop.github.io/articles/confronto-de-titas-databricks-vs-snowflake-na-batalha/Databricks e Snowflake são dois nomes em soluções de dados em nuvem. Ambas as plataformas têm sido fundamentais para ajudar as empresas a gerar valor a partir de seus ativos de dados internos e externos. Cada plataforma…https://julianamarialop.github.io/articles/microsoft-fabric-pausar-retomar-escalar-uma-capacidade/Mon, 15 Jul 2024 14:30:00 +0000https://julianamarialop.github.io/articles/microsoft-fabric-pausar-retomar-escalar-uma-capacidade/Existem várias maneiras de pausar, retomar ou dimensionar uma Capacidade Microsoft Fabric . Note que isso se aplica apenas aos F-SKUs no Azure, pois a Capacidade Premium (P-SKU) só pode ser dimensionada.https://julianamarialop.github.io/articles/databricks-sql-e-modelagem-dimensional-otimizando-seu/Thu, 23 May 2024 14:06:00 +0000https://julianamarialop.github.io/articles/databricks-sql-e-modelagem-dimensional-otimizando-seu/No dinâmico cenário do armazenamento de informações, as metodologias utilizadas para estruturar dados desempenham um papel crucial na descoberta de insights valiosos para a tomada de decisões informadas. Desde as…https://julianamarialop.github.io/articles/melhores-praticas-para-o-uso-de-workspaces-data-fabric/Mon, 20 May 2024 16:55:00 +0000https://julianamarialop.github.io/articles/melhores-praticas-para-o-uso-de-workspaces-data-fabric/O gerenciamento eficaz de pipelines de dados é fundamental para garantir processos contínuos de desenvolvimento, teste e implantação. A integração do Git com os espaços de trabalho do Microsoft Fabric oferece uma…https://julianamarialop.github.io/articles/databricks-lakehouse-federation-explorando-exemplos-praticos/Thu, 25 Apr 2024 14:23:00 +0000https://julianamarialop.github.io/articles/databricks-lakehouse-federation-explorando-exemplos-praticos/Dando continuidade ao artigo anterior, “Databricks Lakehouse Federation: Uma Alternativa ao ETL Zero?” , vamos explorar alguns exemplos práticos para a combinação de dados em diferentes origens.https://julianamarialop.github.io/articles/databricks-lakehouse-federation-uma-alternativa-ao-etl/Wed, 24 Apr 2024 20:48:00 +0000https://julianamarialop.github.io/articles/databricks-lakehouse-federation-uma-alternativa-ao-etl/Lançada em Dezembro de 2023, a funcionalidade de Federação Lakehouse está atualmente em Prévia Pública, mas possui um enorme potencial. No artigo de hoje, explorarei algumas visões interessantes, como a capacidade de…https://julianamarialop.github.io/articles/integracao-continua-e-entrega-cicd-azure-data-factory/Thu, 12 Oct 2023 13:00:00 +0000https://julianamarialop.github.io/articles/integracao-continua-e-entrega-cicd-azure-data-factory/CI é a prática de testar automaticamente cada alteração de código, enquanto o CD implementa essas alterações nos sistemas de staging ou produção. No Azure Data Factory, a CI/CD envolve a movimentação de pipelines entre…https://julianamarialop.github.io/articles/melhores-praticas-do-azure-data-factory-e-databricks/Fri, 29 Sep 2023 13:00:00 +0000https://julianamarialop.github.io/articles/melhores-praticas-do-azure-data-factory-e-databricks/Olá a todos, essa semana vamos apresentar algumas melhores práticas para um pipeline de ingestão de dados:https://julianamarialop.github.io/articles/hands-on-com-o-microsoft-fabric-um-guia-para-iniciantes/Fri, 22 Sep 2023 13:00:00 +0000https://julianamarialop.github.io/articles/hands-on-com-o-microsoft-fabric-um-guia-para-iniciantes/As soluções tradicionais de análise de dados em grande escala contam com data warehouses e consultas SQL para armazenar e recuperar dados. No entanto, a ascensão do big data, caracterizada por grandes #volumes …https://julianamarialop.github.io/articles/azure-synapse-analytics-vs-microsoft-fabric-que-tal-mais/Tue, 30 May 2023 17:44:00 +0000https://julianamarialop.github.io/articles/azure-synapse-analytics-vs-microsoft-fabric-que-tal-mais/Em maio de 2023, a Microsoft anunciou o Microsoft Fabric . Essa nova solução amplia a promessa de integração feita no Azure Synapse Analytics para abranger todas as cargas de trabalho analíticas, podendo ser utilizada…https://julianamarialop.github.io/articles/arquitetura-big-data-escolha-canalizacao-correta-para/Mon, 15 Jun 2020 16:40:00 +0000https://julianamarialop.github.io/articles/arquitetura-big-data-escolha-canalizacao-correta-para/Na semana passada, escrevi um artigo sobre pipeline de dados (confira aqui) onde foram apresentadas as principais características para um desenvolvimento robusto e de forma otimizada, preferencialmente utilizando um…https://julianamarialop.github.io/articles/pipeline-de-dados-o-encanamento-na-sua-empresa-e-agua/Fri, 12 Jun 2020 20:21:00 +0000https://julianamarialop.github.io/articles/pipeline-de-dados-o-encanamento-na-sua-empresa-e-agua/Pipeline é um termo inglês que se pode traduzir por “tubagem” ou “canalização”. Esse conceito é utilizado na nossa língua para fazer referência a uma arquitetura da informática. Estas canalizações virtuais são criadas…