Esta é uma nova era para o dbt Labs?

Os anúncios do dbt na Coalesce 2024 são uma virada de chave para a empresa, abrindo caminho para um novo capítulo em sua evolução e prometendo marcar a indústria.

Neste artigo, você vai conhecer a jornada do dbt Labs, desde o início até a crescente expansão de suas funcionalidades para democratizar o uso de dados nos negócios.

Seja sua empresa um usuário antigo do Core ou novo da Cloud, você vai entender como a nova estratégia do dbt pode elevar suas operações de dados.

Vamos lá.

Trabalhando com dados antes do dbt

Ainda me lembro de quando conheci o dbt, em meados de 2019.

Assim como outras consultorias de dados na época, a Indicium trabalhava principalmente com pipelines ETL codificados em uma infraestrutura cloud mais simples – algo comum nos blogs sobre engenharia de startups tech.

Antes do dbt, trabalhar com ETL codificado era exclusivo à expertise da engenharia de dados. Então, como uma consultoria pequena em um mercado aquecido, seria difícil escalar nossa equipe dessa forma.

O desafio da engenharia

Nessa época, a maior parte do nosso time não tinha formação em engenharia

Porém, nosso CTO reforçava a importância das melhores práticas em engenharia de software (SWE) com dados, a partir de sua experiência com pipelines de big data.

Após ler alguns dos textos de Tristan Handy sobre engenharia de analytics (AE) e dbt, ficou claro que o dbt poderia permitir a analistas da Indicium trabalhar como engenheiros.

Ou melhor, engenheiros de analytics.

A complexidade das ferramentas no mercado

A genialidade das primeiras versões do que conhecemos hoje como dbt Core não era a complexidade de seu código ou recursos, mas sim sua simplicidade.

Naquela época, ferramentas ETL legadas — como Informatica e Pentaho — voltadas a áreas não técnicas costumavam ser difíceis de usar, ter recursos em excesso e cobrir muito pouco das boas práticas de SWE. 

Por outro lado, plataformas, como Snowflake e Databricks, eram restritas à engenharia de dados, por exigirem conhecimentos técnicos mais profundos do que analistas possuíam.

Embora as empresas pudessem construir pipelines mais rapidamente, esse número limitado de profissionais restringia a escalabilidade dos departamentos de dados.

E o pior: profissionais da engenharia de dados evitavam interagir com usuários de negócios e escrever queries SQL, afastando esse departamento de onde o valor comercial dos dados estava.

O dbt entra em cena

Apesar de o dbt ainda estar em seus estágios iniciais, em poucos meses, construímos uma prática inteiramente nova de AE em cima dele.

Estamos falando de profissionais sem formação em engenharia de software, mas com habilidades analíticas sólidas.

A fim de acelerar esse movimento, lançamos a Formação em Engenharia de Analytics, que é aberta ao público e já treinou mais de 1.000 profissionais até hoje.

O resultado?

Tornamos a Indicium uma das principais parcerias certificadas do dbt no mundo. 

Sem dúvidas, o dbt é um grande diferencial para toda equipe de dados moderna.

E o dbt Cloud? 

O dbt Core já atendia às necessidades de muitas das primeiras empresas que o adotaram, como a Indicium.

Além disso, o nosso time e a comunidade open source estavam sempre lançando novos recursos com as primeiras versões do dbt Cloud.

Então, até recentemente, tínhamos poucas razões para migrar. E não me entenda mal, o Cloud precisa de muitos desses recursos para ser uma boa ferramenta em si.

O problema eram as muitas empresas descobrindo o Modern Data Stack (MDS) e, consequentemente, todas as possibilidades de melhorar suas plataformas de dados com o dbt.

Dessa forma, as equipes se tornaram usuários avançados do dbt, o que, na minha opinião, não era o perfil principal que o Cloud buscava alcançar.

Então qual é?

Quem é a user persona do dbt Cloud?

Acredito que existem três perfis principais para o dbt Cloud.

Perfil 1

Em primeiro lugar, estão as empresas nascidas no MDS que não possuem ou não desejam manter um grande time de dados.

Perfil 2

Depois, temos organizações de grande porte que querem escalar a implementação do dbt Core nas suas linhas de negócios (LOB).

Elas também precisam de uma ferramenta para implementar as melhores práticas em gestão e governança de dados, mantendo a complexidade baixa para as equipes de análise de LOB menos técnicas.

Perfil 3 

Por fim, há os negócios que adotaram tardiamente data warehouses em nuvem e só agora estão substituindo tecnologias de dados legadas, como Talend e Informatica.

‍

Até agora, adotar e implementar o dbt Cloud nem sempre foi atraente o suficiente para algumas dessas personas.

Por que isso vai mudar?

Na minha opinião, os anúncios do dbt labs na Coalesce deste ano foram na direção certa. 

As grandes novidades da Coalesce 2024

Os anúncios do dbt na Coalesce 2024 são uma virada de chave para a empresa, abrindo caminho para um novo capítulo em sua evolução e prometendo marcar a indústria.

Primeiramente, o dbt Labs reconheceu que, para se tornar a principal ferramenta de dados de empresas pequenas ou sem times de plataformas de dados, ele precisa expandir para além da transformação.

Recursos como orquestração, catalogação e ingestão de dados são essenciais, mas precisam de um conjunto de ferramentas caras e difíceis de combinar. 

A visão do dbt se tornando um controlador de dados é promissora, além de acompanhar a consolidação que a Indicium observa na área do Modern Data Stack nos últimos anos.

Combinando dbt Core e Cloud

Com certeza, o maior anúncio da Coalesce foi a estratégia do One dbt.

Primeiramente, uma abordagem híbrida entre dbt Core e Cloud tem grande valor, sendo um desenvolvido por equipes de plataforma ou centros de excelência, e o outro voltado para times de LOB menos técnicos.

Uma experiência de primeira classe com essa combinação no dbt Cloud é essencial para muitas das empresas clientes da Indicium.

Atendendo às novas necessidades de arquitetura de dados

Em segundo lugar, enquanto a maioria dos recursos avançados do Cloud já havia sido desenvolvida por usuários experientes do dbt, o mesmo não ocorreu com arquiteturas híbridas de nuvem e data mesh.

Não existem ferramentas ou plataformas para lidar com essa prática cada vez mais comum nas organizações, mesmo usando o mesmo provedor de nuvem — como o caso do Databricks e do Snowflake.

Com o iceberg se tornando o padrão para armazenamento de dados moderno, o dbt tem uma oportunidade real para se tornar a peça que falta entre essas plataformas.

Isso vai permitir aos times desenvolver suas ferramentas sem deixar de lado a governança ou as boas práticas de DataOps (operações de dados).

Dado o dilema de longa data entre a transformação de dados baseada em código e a no-code/low-code, esse é um recurso indispensável para engenheiros menos técnicos, além de uma exigência comum para organizações.

Ter esse recurso no dbt Cloud e integrado ao ciclo de desenvolvimento do dbt é uma excelente estratégia para as empresas.

O papel central do dbt no Modern Data Stack

Eu tenho certeza de que o dbt é a ferramenta mais onipresente do sistema de dados moderno.

Para além de apenas uma ferramenta, ele permitiu que as empresas aproximassem as áreas de negócios e as de dados com a expansão da engenharia de analytics.

Ironicamente, o Cloud sofreu devido às qualidades do seu produto original.

Afinal, embora houvesse empresas para as quais o dbt Cloud seria a melhor opção, uma grande parte do mercado tinha dificuldade em identificar as falhas do Core.

Com a nova estratégia e os lançamentos anunciados, o Cloud está resolvendo necessidades reais, tanto técnicas quanto de negócios, que o dbt Core não atendia.

Eu consigo visualizar cada vez mais casos de uso em que o Cloud oferece uma vantagem convincente em relação ao Core.

Indicium: Parceira Emergente do Ano nas Américas

A Indicium é uma empresa de serviços de dados global e líder em Modern Data Stack no continente. 

Nossa missão é ajudar organizações a se modernizar e escalar para um futuro data-driven.

Oferecemos soluções de ponta a ponta — da estratégia à execução —, como consultoria, treinamentos, produtos de dados e plataformas de dados.

Que tal revolucionar suas operações de dados e escalar seus negócios?

Entre em contato com a Indicium e descubra como podemos usar o potencial do dbt para acelerar o crescimento da sua organização.