Como gerar valor de negócio com produtos de dados

Os produtos de dados são ferramentas essenciais para empresas que buscam transformar informações em vantagem competitiva. 

Na Indicium, acreditamos que o sucesso nessa jornada depende de duas abordagens complementares: Modern Data Stack (MDS), para garantir soluções tecnicamente sustentáveis, e produtos de dados, para resolver problemas reais de negócio.

Neste artigo, vamos explorar como essas estratégias se conectam, o que define um produto de dados e como adotar uma abordagem que gere impacto significativo para a sua organização. 

Boa leitura!

Soluções em dados na Indicium

Na Indicium, acreditamos em 2 grandes fatores críticos para o sucesso de soluções de dados, ou seja, aquelas que têm capacidade de gerar diferencial competitivo para empresas. 

1. Soluções de dados de sucesso são sustentáveis tecnicamente a longo prazo.
2. Soluções de dados de sucesso resolvem problemas de negócio.

Tendo em vista esses dois fatores críticos, a Indicium norteia sua atividade seguindo o princípio de duas abordagens.

O Modern Data Stack (MDS), que se relaciona com soluções tecnicamente sustentáveis a longo prazo.

E a abordagem de produtos de dados, que se relaciona com soluções que resolvem problemas de negócio.

Este artigo aborda algumas questões centrais de produtos de dados.

1. O que são produtos de dados?
2. Quais são os tipos de produtos de dados?
3. Como adotar uma estratégia de produtos de dados?

Vamos começar?

O que são produtos de dados?

O conceito de produtos de dados foi definido pela primeira vez por DJ Patil, ex-cientista-chefe de dados dos Estados Unidos, em seu livro Data Jujitsu: The Art of Turning Data into Product, de 2012.

Ele conceitou como "um produto que facilita um objetivo final através do uso de dados". 

O conceito também foi definido por Zhamak Dehghani no artigo How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh, em que a autora traz insights em como criar uma arquitetura de dados descentralizada para servir dados para times de negócio: 

As equipes de dados de domínio devem aplicar o pensamento de produto […] aos conjuntos de dados que fornecem; considerando seus ativos de dados como seus produtos e o restante dos cientistas de dados, ML e engenheiros de dados da organização como seus clientes.

Vamos pensar em um exemplo?

A Netflix é um produto de dados? 

Não. 

A plataforma Netflix não é um produto que facilita um objetivo final através do uso de dados.

Contudo, podemos considerar o algoritmo de recomendação de conteúdo presente na Netflix um produto de dados.

Isso porque ele auxilia a pessoa usuária na escolha de um filme ou série (objetivo final) por meio do uso de dados (histórico, grau de similaridade, algoritmo).

Os autores definem alguns princípios que os produtos de dados devem seguir.

• Discoverable: um produto de dados deve ser facilmente descoberto, geralmente através de um catálogo centralizado que lista todos os produtos de dados disponíveis com suas informações como proprietários, origem, linhagem, etc. Seguindo este princípio, é possível reduzir a redundância de dados, garantindo que todos da organização estão olhando para os dados da mesma forma.

• Addressable: um produto de dados, uma vez descoberto, deve ter um endereço único seguindo uma convenção global para permitir acesso programático. As organizações podem adotar diferentes convenções de nomenclatura dependendo do armazenamento e formato dos dados. Para facilitar o uso, é necessário desenvolver convenções comuns em uma arquitetura descentralizada, onde diferentes domínios podem armazenar e fornecer conjuntos de dados em formatos variados, com o objetivo de reduzir o atrito na busca e acesso a informações.

• Trustworthy and truthful: não há nada pior para um consumidor de dados não ter os dados na qualidade adequada para a tomada de decisão. Os produtos de dados devem ser confiáveis e refletir a verdade dos eventos ou insights gerados, com esforços concentrados em garantir a qualidade dos dados desde sua criação. 

• Secure and governed by a global access control: o acesso aos conjuntos de dados deve ser seguro, com políticas de controle de acesso aplicadas individualmente a cada produto de dados. Este princípio garante a construção de soluções de dados safe-by-design e adequação a legislações de dados.

• Domain data cross-functional teams: times que constroem produtos de dados precisam ser multifuncionais, garantindo que haja uma visão de geração de valor com dados, representados por data product managers ou data product owners e a visão de sustentabilidade dos produtos, representados pelos cargos de engenharias de dados, analytics, e IA. 

Na Indicium, expandimos os princípios de produtos de dados.

Para além dos conceitos da literatura, criamos e adotamos princípios adicionais à metodologia de produtos de dados que visam a geração de diferencial competitivo para nossas e nossos clientes.

A pessoa usuária no centro do desenvolvimento

Acreditamos que o desenvolvimento de produtos de dados deve ter as pessoas usuárias e consumidoras de dados no centro da discussão. 

A preocupação dos times de desenvolvimento de dados deve ser maior do que certos questionamentos, como: 

• "quais tabelas integrar?" 
• "como desenvolver modelos incrementais da forma mais eficiente?"

E devem ser voltadas também para:

• "como acontece o processo de negócio que gera esses dados?"
• "quais são os desafios dos tomadores de decisão relacionados a esse processo de negócio?"
• "quem são as pessoas usuárias/personas que vão utilizar o produto de dados e qual seu nível de competência técnica em dados?"
• "quais são os principais pontos de dores e limitações no formato atual do consumo de dados?"

Contamos com uma equipe multidisciplinar de especialistas e programas de formação próprios que nos diferenciam no mercado.

Abrangemos as carreiras de:

• data product managers 
• data experience designer
• data consultant 
• AI engineer,
• data engineer, 
• analytics engineer, 
• data analyst 
• e data scientist.

Por que times multidisciplinares?

Geram resultado e alavancam processos organizacionais.

Acreditamos que os times de dados devem apoiar o negócio na tomada de decisão para geração de resultados. 

Para além da criação de pipelines e produtos de dados, o time de dados também possui a responsabilidade de aterrissar o desenvolvimento de data products no dia a dia de processos organizacionais.

Afinal, um dashboard atraente, mas que não tem nenhuma tomada de decisão é um péssimo produto de dados. 

Para isso, utilizamos a abordagem Plan, Do, Check, Act/Adjust (PDCA), em que metas de negócio são estabelecidas, e então são criados planos de ação com datas e responsáveis. E os indicadores de negócio são monitorados junto às áreas de negócio para evolução dos indicadores.

A adesão do produto de dados

O desenvolvimento e manutenção de produtos de dados custa caro. 

Por isso, é necessário monitorar e gerir a adesão dos produtos de dados, ou seja, quantos usuários estão utilizando, com qual frequência, quais são as features mais acessadas e as menos acessadas. 

Para além do monitoramento, seguindo o princípio da pessoa usuária no centro, adota-se a abordagem de feedback contínuo para a evolução e melhoria dos produtos de dados, buscando ter o dado certo no formato adequado para as decisões certas.

A base metodológica

Na Indicium desenvolvemos uma metodologia própria para a construção de produtos de dados, a metodologia 4D. 

Acreditamos que uma base metodológica, evoluída pela experiência de mais de 300 produtos em 60 clientes, garante a robustez e adaptabilidade essenciais para criar produtos de dados de impacto.

Quais são os tipos de produtos de dados?

Com o conceito de produto de dados e seus princípios em mente, podemos materializá-los em seus tipos, sendo classificados amplamente em 5 categorias:

• Dados Brutos: envolve produtos que visam a coleta de dados brutos com o mínimo de transformação e limpeza. Esses dados podem gerar valor de diferentes formas, mas o grosso do esforço é feito pelo usuário.
• Dados derivados: quando há transformação, limpeza e enriquecimento de dados antes da disponibilização ao usuário final. Dados derivados podem ser uma remodelagem de dados brutos em um esquema estrela, ou mesmo o enriquecimento de dados operacionais através de modelos de segmentação de clientes.
• Algoritmos: um data product de algoritmo recebe dados de uma fonte, processa através de algoritmos computacionais e retorna como produto final novos dados ou insights.
• Suporte à decisão: produtos de suporte a decisão utilizam dados para facilitar a tomada de decisão pela pessoa usuário, porém não realizam essa decisão automaticamente. Nesta categoria se incluem a maioria dos produtos de Dashboard e visualização de dados em geral.
• Decisão automatizada: na decisão automatizada, um sistema computacional realiza a decisão de forma autônoma a partir dos dados. É o caso de sistemas prescritivos como carros autônomos e drones.

Interfaces de produtos de dados

Além dos requisitos funcionais, é interessante categorizar as interfaces que uma pessoa que é data product utiliza para gerar valor. 

Data products podem ter uma interface ou uma combinação delas. Em geral, as interfaces vão ser distintas para usuários técnicos ou de negócio:

• Application Programming Interface (API): é uma interface técnica que permite disponibilizar data products para outros sistemas. Também precisa seguir processos de construção de produtos, porém voltados para integração entre sistemas.
• Visualização: incluem a construção de dashboards e relatórios. A complexidade da interface vai depender do conhecimento técnico do usuário.
• Apps: é uma das formas de aumentar a geração de valor de data products é através da construção de apps que geram valor diretamente ao usuário final, abstraindo boa parte da complexidade dos dados e algoritmos embutidos.

Categorias de produtos de dados

A combinação entre os tipos e interfaces dá origem às categorias de produtos de dados. 

A seguir selecionamos alguns exemplos.

• Um dashboard de BI para visualizar KPIs estratégicas da empresa é um data product do tipo Suporte a decisão e com uma interface de visualização de dados.
• Um data warehouse é uma mistura de dados brutos, derivados e suporte à decisão. Sua interface é via APIs (ex. SQL, ODBC etc)
• O modelo de grupos empresariais fornecido por empresas de big data é uma combinação de coleta de dados brutos, construção de dados derivados e algoritmos proprietários. Sua interface é via API.
• Um data app de planejamento de coleções é um app que permite tomar melhores decisões a partir de algoritmos.
• Um carro autônomo toma decisões automatizadas a partir de um app (o próprio veículo).

Como adotar uma estratégia de produtos de dados?

Segundo o Gartner, Data Products são uma das principais tecnologias que estão sendo adotadas ou serão adotadas em um timeline de 12 meses pelas principais empresas do mundo. 

Como adotar uma estratégia de produtos de dados e quais seus reais benefícios?

Na Indicium, sempre enxergamos desafios organizacionais pela ótica Pessoas, Organização e Dados (POD) —  metodologia criada pela Indicium. 

Para a adoção de uma estratégia de produtos de dados, em alto nível, é necessário os seguintes tópicos.

Pessoas

• Gerar e difundir conhecimento das colaboradoras e dos colaboradores em relação a conhecimento técnico relacionado a produtos de dados.
• Criar equipes multidisciplinares que combinem skills técnicas e de negócio, introduzindo figuras "não tradicionais" de dados como a da pessoa data product manager, data experience e data product analyst.
• Rever modelos de organização de times de dados.

Organização

• Promover uma cultura de produtos de dados, incentivando a reutilização dos dados e a colaboração entre diferentes áreas da empresa.
• Investir em liderança que apoia e patrocina iniciativas de produtos de dados.
• Alocar budget específico para o desenvolvimento e manutenção de produtos de dados.

Dados

• Implementar processos de governança de dados robustos, garantindo segurança, qualidade e conformidade.
• Implementar processos de ingestão, transformação, orquestração e catalogação de dados com observabilidade.
• Facilitar o consumo de dados através de ferramentas e interfaces intuitivas e self-service.

Ou seja…

Uma estratégia eficaz de produtos de dados cria valor real ao alinhar dados aos objetivos do negócio.

Quer implementar uma estratégia de produtos de dados?

Os produtos de dados são ferramentas essenciais para empresas que buscam transformar informações em vantagem competitiva.

Desde a concepção até a implementação, a Indicium transforma dados em produtos inovadores, desenvolvidos sob medida para atender às necessidades e desafios específicos de cada organização.

Quer desbloquear o verdadeiro potencial dos seus dados e impulsionar o crescimento do seu negócio? 

Nossa equipe está pronta para criar soluções personalizadas que alinhem tecnologia, estratégia e impacto.

Clique aqui para falar com a gente e descobrir como transformar dados em resultados reais.