BI e ELT: executando um data lake sem um processo rígido de ETL

Sabemos que a construção de um data warehouse eficiente é a garantia para o sucesso de um projeto de business intelligence.

Porém, o DW exige um processo de ETL super-rigoroso, que demanda bastante tempo e esforço. Por esse motivo, muitas organizações agora estão adotando o data lake para respaldar seu BI, já que ele utiliza um método muito mais livre e flexível para a sua construção, o ELT.

Quer entender melhor essa mudança?

Continue essa leitura!

Um BI sobrevive sem um data warehouse?

A ferramenta data lake surgiu como uma maneira promissora de lidar com grandes volumes de dados estruturados e, principalmente, não estruturados. É uma tecnologia que permite às empresas modernas aprimorarem profundamente seu business intelligence.

Mas como isso funciona sem um data warehouse como intermediário?

Vamos explicar o processo!

1. No data lake, os dados são extraídos e carregados sem muita preparação ou estruturação.
2. Então, analistas identificam os dados relevantes e fazem a transformação de acordo com sua análise.
3. E, por fim, exploram esses dados utilizando ferramentas de business intelligence.

Dessa forma, a distância da extração à análise é menor, economizando tempo.

Portanto, a resposta é sim, um BI sobrevive sem um data warehouse. Inclusive, uma abordagem de BI em data lake representa uma grande vitória, principalmente em termos de economia de custo, tempo e esforço.

Tudo isso sem perder o desempenho e a simultaneidade que usuários finais exigem.

Mas calma, isso não quer dizer que o DW não é mais necessário. Acompanhe para saber mais!

O data lake substitui o data warehouse?

De fato, o ELT (em português, extrair, carregar e transformar) é um processo que permite a análise de BI, esquivando-se do data warehouse. Apesar disso, o DW não é simplesmente eliminado e, muito menos, substituído.

Mas, se é possível resolver um BI somente com um data lake, por que se dar ao trabalho de construir um data warehouse?

Simples! Porque sem ele:

1. os dados não estarão em formato adequado para relatórios;
2. os dados permanecem em baixa qualidade;
3. o processamento ficará mais longo e, com isso, o desempenho diminuirá;
4. os dados ficarão dispersos em sistemas de diferentes departamentos;
5. faltarão informações históricas.

Ou seja, para a análise dos dados de negócios estruturados e mais minuciosos, é preciso de toda a preparação e transformação que só um DW tem. Ele ainda é utilizado para análises críticas de negócios em suas métricas centrais, como finanças, CRM, ERP, entre outros.

Por exemplo, se a gestão precisar ver um painel de receita semanal ou uma análise aprofundada da receita em todas as unidades de negócios, os dados precisam ser organizados e validados. Esse exemplo de análise não pode ser montado a partir de um data lake exclusivamente.

Então, por que você deve adotar o data lake para projetos de BI?

Porque, efetivamente, o “in-data-lake BI”, como vem sendo chamado esse novo processo, fornece uma integração que atende às demandas das empresas de reagir imediatamente às contingências do mercado dinâmico em que vivemos.

Não sabe por onde começar?

Nossa equipe especializada pode ajudar você. Entre em contato clicando aqui.