Como uma metodologia trás luz ao desafio de transformar dados em resultados a partir da estratégia da organização
1 Visão geral de Analytics em Organizações
Os dados se multiplicam a cada ano e o desafio de extrair valor se amplia. É como se o volume petróleo a ser extraído aumentasse, mas ao mesmo tempo, aumenta-se a diversidade de tipos do óleo, qualidade, origens e assim por diante. Dessa forma, são demandadas novas habilidades dos profissionais e das máquinas para extraí-lo.
Com os dados não é diferente. A internet das coisas ampliou e continuará a ampliar o volume de dados que chegam em tempo real de dispositivos em todas as áreas da economia.
Dessa forma, se torna fundamental utilizar um método eficiente para suportar todo o processo de análise de dados de ponta a ponta da organização. Começando na estratégia corporativa e chegando até ao uso de dados no chão de fábrica.
São três níveis da metodologia, que vão abranger a visão corporativa, a execução de projetos analíticos e por fim, a organização dos dados otimizada para resolver problemas específicos.
Cada um desses três níveis é dividido em blocos que devem ser executados em sequência.
O primeiro bloco que é o Assessment, é realizado uma vez, gerando um Dossiê de Dados, que norteará a visão de dados da organização. Deve ser revisitado de forma periódica para revisão, mas é uma formalização de curto, médio e longo prazo da visão de dados da organização.
Finalmente no último bloco – RoDA, os dados estarão estruturados para atingir um (somente um) objetivo de negócio da empresa, como por exemplo:
- Monitorar transações (redução de fraudes)
- Monitorar churn de clientes (aumento da retenção)
- Monitorar upsell de clientes (aumento de vendas)
- Monitorar produção de equipamento (redução de manutenções)
- Monitorar comportamento de colaboradores (redução de turnover)
- Monitorar força de vendas (aumento de vendas)
Percebe que monitorar está em todos os objetivos? Esse termo é chave para o RoDA. Assim como os dados são organizados para analistas, interfaces analíticas são construídas para sinalizar ações rápidas que devem ser tomadas para atingir o objetivo pré-definido.
Ao mesmo tempo automações podem ser construídas para que as ações não dependam apenas de atividades humanas.
A seguir é apresentada a estrutura com todos os blocos.
2 Assessment
Nessa primeira etapa, é levantada qual é a estratégia da empresa, desenhada a estratégia de dados, são identificadas iniciativas de dados a partir de um processo de co-criação com os colaboradores da organização e finalmente, são estimados os benefícios de cada ideia, para que sejam priorizadas a partir da complexidade e ganho.
2.1 Estratégia Corporativa
Nessa etapa, se a organização já tiver um documento de planejamento estratégico atualizado, esse será fonte crucial. Contudo, não é muito comum encontrar esse tipo de documento atualizado. Portanto, geralmente será necessário realizar um levantamento junto a alta administração para compreensão da visão e rumo da organização.
É fundamental recuperar a visão e missão da organização, assim como identificar departamentos da organização e suas responsabilidades.
Registre o foco estratégico da empresa para escolher iniciativas de maior impacto, aumentando as chances de sucesso na Jornada Analítica da organização.
Um tema amplo, mas que é interesse capturar uma síntese, é o BSC (Balanced Scorecard) da organização. Entender como ela está e enxerga o futuro nas perspectivas Financeira, de Clientes, Processos Internos e Aprendizado/Crescimento começará a apontar oportunidades do uso de dados na organização.
Compreenda as Forças da Organização assim como as Oportunidades que ela enxerga no mercado. A análise SWOT dará aos colaboradores mais clareza quanto a quais iniciativas são mais relevantes. Oportunidades de usar dados são ilimitadas, mas o foco em frentes de alto impacto determinará o sucesso da Jornada Analítica da organização, definindo se haverá ou não investimentos futuros.
Ao mesmo tempo, identificar fraquezas e Ameaças podem revelar iniciativas que ao invés de trazer ganhos para a organização, poderão mitigar riscos evitando perdas consideráveis.
2.2 Estratégia de Dados
Identificar o grau de maturidade analítica da organização é o principal output desse bloco. Sempre haverá oportunidade de evoluir, contudo, quanto mais evoluída é uma organização quanto ao uso eficiente dos dados, maior será o esforço para identificar novas frentes a serem trabalhadas.
A organização pode falhar no uso de dados por diversos motivos, sendo alguns motivos citados a seguir:
- Falta de profissionais especializados
- Falta de capacitação (Data Literacy)
- Falta de tecnologia adequada
- Falta de infraestrutura física
- Falta de processos analíticos (metodologia)
- Falta de Dados
- Dados com baixa qualidade
- Falta de visão por parte da alta administração (Cultura)
Por isso, é fundamental levantar e registrar informações com as mencionadas na figura a seguir. Informações essas que serão formalizadas no Dossiê de Dados que trará o grau de maturidade em dados da organização.
2.3 Ideação
A partir de um processo de co-criação, que pode ocorrer presencialmente ou online (exemplos de boas tecnologias são Mural ou Miro), profissionais geralmente externos à organização, vão mapear iniciativas de uso eficiente de dados. A quantidade de frentes pode chegar a várias dezenas, contudo, é fundamental que os colaboradores votem, critiquem, analisem possibilidades, chegando ao final com iniciativas moldadas para alcançar resultados mais rápidos e impactantes.
2.4 Hipótese de Benefícios
Além de identificar iniciativas importantes para o negócio e seu grau de complexidade para serem implementadas, é muito importante levantar o quanto de ganho cada uma das frentes mais relevantes identificadas no bloco anterior trará. Por ganho se entende aumento de receita, redução de custos ou aumento da eficiência operacional.
Na imagem a seguir, os colaboradores da organização sinalizam sua percepção de ganho arrastando “foguetes” para os possíveis ganhos e “ok” para sua leitura de o quão disponíveis os dados estão para cada iniciativa.
3 Processo Analítico
Após priorizar e estimar o impacto de todas as iniciativas, definimos os quick wins e vamos para a etapa de desenvolvimento. O desfecho dessa etapa é a aplicação de inteligência de dados, onde os dados estarão disponíveis para suportar analistas e demais colaboradores a agirem de forma rápida e precisa para maximizar a performance da organização. Lembrando que não é para resolver todos os problemas, mas para solucionar um problema específico conforme citado anteriormente.
3.1 Definição da Solução nº1
Escolhida a 1ª solução a ser construída, é hora de preparar um kickoff e engajar todas os stakeholders para iniciar as atividades. Quando falamos de stakeholders, nos referimos a:
- Analistas/cientistas de dados: irão atuar intensamente na iniciativa
- Profissionais de TI: irão fornecer infraestrutura para tecnologias analíticas assim como acesso à várias fontes de dados
- Sponsor: que garantirá a relevância do projeto. É importante que seja um diretor, Vice presidente ou o próprio CEO. Segundo o McKinsey, O CEO é o responsável pela estratégia de dados em 38% das empresas. Esse sponsor pode ser decisivo quanto a contratação de uma consultoria para suportar ou direcionar a iniciativa
- Marketing: é fundamental ter uma estratégia de endomarketing. A comunicação do projeto no tempo certo e da forma correta irá gerar visibilidade, engajamento e resultados
- RH: caso seja necessário trazer profissionais eternos por falta de capacidade interna
- Negócios: se a iniciativa não é em seu departamento, será fundamental convencer e ter total adesão do principal departamento envolvido nos benefícios da iniciativa, assim como outros departamentos chave para o sucesso
3.2 Desenho MVP / Mockup
Antes de sair analisando dados, é fundamental desenhar (de forma digital ou em papel), como será a entrega, com seus artefatos já definidos. Isso é fundamental para que a entrega seja validada junto ao público-alvo antes de iniciar a construção.
Usar o conceito de MVP (Produto Mínimo Viável) pode ser muito útil para não construir uma solução e depois perceber que muitas mudanças são necessárias.
Sendo assim, após ter o desenho do que é esperado pelo público-alvo, a definição do Produto Mínimo Viável irá viabilizar uma entrega rápida para os usuários “degustarem” a solução e rapidamente darem feedbacks, proporcionando ajustes de rota e redefinição de prioridades para entrega da solução completa e relevante.
A estratégia de usar o conceito de MVP vai minimizar a situação representada de forma cômica na figura a seguir.
O visual do Mockup pode ser sofisticado (tomando mais tempo) ou muito simples, em uma folha de papel (menos tempo gasto). O propósito é que, quem for utilizar tenha uma noção e possa já criticar antes da construção.
3.3 Mapa de Fontes de Dados
Tendo mais clareza do que precisa ser entregue, identificar os dados necessários para a entrega é o próximo passo. Esses dados podem estar em sistemas da empresa, planilhas ou até fora da organização. Nesse último caso, torna-se necessário fazer um levantamento de onde podemos encontrar os dados. Existem uma larga quantidade de empresas que coletam, organizar e comercializam dados, geralmente públicos.
O benefício de comprar dados de empresas, é que os dados já estão organizados e limpos. Geralmente são fornecidos em API, podendo ser consumidos de forma instantânea e pagando apenas pelos registros consumidos.
Os governos federais da maioria das nações têm publicado vastos conjuntos de dados. No caso do Brasil, está disponível para qualquer pessoa, arquivos diversos em dados.gov.br.
Registre todas as bases de dados a serem utilizadas e levante os dados para conectar a elas, como por exemplo IP, usuário e senhas para conectar em bancos de dados. Reúna arquivos como planilhas e outros encontrados na Internet.
3.4 Carga de Dados
Ciente dos dados que serão utilizados, os mesmos devem ser carregados em uma única plataforma de análise de dados. Nessa etapa, os dados precisam ser padronizados. Arquivos em diversos formatos, dados vindos de APIs, provenientes de Bancos de Dados e de várias outras fontes, precisam ser todos colocados no mesmo tipo de armazenamento, para que possam em etapas seguintes, serem combinados e assim, gerar informações relevantes.
3.5 Entendimento dos Dados
Análises exploratórias são fundamentais para identificar dados ausentes, dados com má qualidade e inconsistências.
Para entender os dados, é necessário analisar cada coluna de cada tabela. Colunas numéricas são avaliadas calculando estatísticas como máximo, mínimo, média, etc. É importante visualizar histogramas para avaliar a distribuição dos valores.
Já para colunas do tipo texto, frequências são muito importantes para entender quais valores ocorrem, o grau de concentração em alguns, valores anormais, enfim, começar a analisar sabendo quais dados de fato estão disponíveis.
3.6 Regras de Negócios
Não adianta sugerir que o vendedor que deve atender os clientes de São Paulo deve ser o Marcos, cuja região de vendas é o sul do País. Nesse caso há uma regra de negócios que trás restrições de vendas e precisa ser respeitada nas análises. Inclusive, deve ser utilizada para avaliar se os dados estão consistentes.
Nesse momento, todas as regras de negócio devem ser levantadas junto aos colaboradores da organização, para não se chegar a descobertas ou conclusões que não podem ser utilizadas.
3.7 Preparação dos Dados
Agora que os dados já foram carregados em um só lugar, compreendidos e estamos de posse das regras de negócio, precisamos organizar os dados, utilizando recursos como tarefas prontas para limpar, agregar, corrigir, cruzar com outras bases e por fim, armazenar os dados.
Segundo o Gartner, em 2024, 75% das grandes empresas terão pelo menos quatro plataformas low-code, ou seja, tecnologias visuais que aceleram o desenvolvimento, a análise de dados, permitindo fazer mais em menos tempo.
O final do processo de preparação de dados é a geração de tabelas limpas e organizadas, preparadas para utilização de modelos de Machine Learning.
3.8 Inteligência Analítica
Enfim, chegamos ao final do Processo Analítico, onde aplicamos algum algoritmo de inteligência nos dados. Para chegar nesse ponto, as etapas anteriores não podem ser ignoradas, evitando a consequência fatal GIGO (Garbage in, garbage out).
Nessa etapa, cada problema demanda um tipo de técnica diferente. Uma divisão básica é separar técnicas supervisionadas das técnicas não supervisionadas. A imagem a seguir representa um pouco desse conceito.
Um modelo de Machine é como se fosse uma equação matemática que é criada automaticamente a partir da combinação dos dados e da técnica (algoritmo). Essa junção gera a “equação” que será aplicada a novos clientes, novas vendas, novas compras e assim por diante, trazendo por exemplo a probabilidade de um evento ocorrer (cancelamento de um serviço).
4 RoDA: Result-oriented Data Architecture
Enfim chegamos na camada que está mais próxima do usuário. A cereja do bolo pode ter passado ao fazer a máquina aprender e nos ajudar no dia a dia. Contudo, ainda estamos tratando de conceitos complexos para a maioria das pessoas.
Há a necessidade de além de simplificar os resultados, dar acesso através de dados e interface amigável, operacional e acionável, gerando intervenções que de fato impactarão as vendas, fraudes, custos ou qualquer outro propósito pré-definido ao iniciar o projeto.
No método RoDA, o desafio está em organizar os dados de forma simples para suportar uma interface visual de monitoramento para tomada de decisões operacionais.
4.1 Criação de contextos, Scorecard e Indicadores
Um indicador que sinaliza em 3 níveis se o cliente irá comprar (frio, morno e quente) é bem mais simples de ser compreendido do que a explicação de um modelo de Machine Learning que prevê o comportamento de compra do cliente.
A decisão de compra de um cliente é influenciada por muitos fatores: preço, necessidade, relação com a empresa, forma de pagamento e a lista é enorme. Isso significa que é fundamental monitorar muitas influências e dessa forma, fornecer de insumo no processo de relacionamento da empresa com seus clientes.
Acabamos de citar um contexto de compra, mas da mesma forma poderíamos descrever um contexto de fraude. Agora é o momento de organizar os dados para apresentar exatamente os contextos que suportarão o objetivo inicial e assim impactarão os resultados da organização.
Já quando falamos de Scorecard, imagine a situação de classificação de cada cliente quanto a possibilidade de compra, onde:
- Realizou compra nos últimos 60 dias: 50 pt
- Probabilidade de compra acima de 60%: 200 pt
- Nenhuma reclamação nos últimos 6 meses: 80 pt
- Produto pesquisado pelo cliente na última semana com queda de preço: 100 pt
- Satisfação com a empresa (5 estrelas): 60 pt
E assim por diante. Muitos outros indicadores que influenciam a decisão do cliente são trazidos, pontuados e irão gerar um score final que será utilizado para priorizar quais clientes serão acionados pela empresa.
Estamos falando de inteligência analítica no nível operacional da empresa, bem próximo dos touch-points com clientes para otimização dos resultados gerais.
4.2 Criação de Tabelas
Tabelas que armazenam dados podem seguir vários conceitos, como bases relacionais, Data Marts, Data Warehouses ou RoDAs.
O propósito quando os sistemas utilizam bases relacionais, é para minimizar o volume de dados armazenados, assim como facilitar a exposição de dados em sistemas transacionais. Um exemplo é ter uma tabela de Estados, onde no caso do Brasil, terá apenas 27 linhas. Contudo, quando alguém for realizar um cadastro de cliente, o campo de escolha de Estado irá nessa tabela, irá ler apenas 27 linhas e apresentar ao usuário. É uma estrutura de dados eficiente para sistemas transacionais.
Já quando falamos do conceito de Data Warehouses (DW) ou Data Marts, a ideia é organizar os dados da organização para análise de dados diversas. Não há uma análise em vista, um processo específico, um problema a se resolver. O objetivo é organizar de forma que fique simples para analistas de dados construírem as mais diversas análises. Essa abordagem é extremamente relevante porque a empresa ganhará muito tempo nos estudos de dados.
Por fim, o RoDA se beneficia se a empresa já tiver um Data Warehouse ou Data Mart. Isso porque o propósito do RoDA é bem específico. Não faz sentido uma empresa ter vários DWs, mas faz total sentido ter vários RoDAs. Um pode ser para prospecção de clientes, outro para Upsell, outro para fraudes e assim por diante.
Na tabela acima são apresentados os vários tipos de tabelas:
- CR (Casos Relacionados): quais outras possíveis vendas estão relacionadas a essa? Por exemplo, podemos ter oportunidades de venda para diferentes filiais da mesma empresa, o que poderá ser facilmente identificado, potencializando uma venda unificada para esse grupo empresarial.
- DC (Detalhes do Caso): Quais são todas as características dessa oportunidade de venda? Quem são os contatos, quais seus perfis, quando essa oportunidade foi identificada e outros detalhes importantes para atuar.
- IC (Indicadores Chave): Pensando em uma oportunidade com 720 pontos, quais são os indicadores que a fizeram ter essa pontuação? Veja cada detalhe que a tornou uma oportunidade relevante.
- CA (Cockpit de Ação): Aqui estão as oportunidades, os alertas. Todas as informações cruciais que o analista/vendedor precisa ver para sua atenção ser aguçada e a oportunidade ser aproveitada.
- TS (Tabelas de Suporte): Podemos ter quantas tabelas de suporte forem necessárias. Por exemplo, pode ser importante conhecer todas as reclamações históricas que esse cliente pode ter feito, assim como elogios. Outras probabilidades podem ser trazidas também, como Churn, outros produtos potenciais e assim por diante.
Essas tabelas estão relacionadas a uma tabela central, uma tabela de Alertas, que sinaliza uma oportunidade (ex.: venda) ou um problema (ex.: fraude).
Na figura acima, temos um exemplo de Vendas. No centro temos uma tabela onde cada linha representa uma oportunidade de venda. Nela consta um score total de cada possibilidade, sendo que no topo estão os maiores scores. Em seu entorno, estão várias tabelas relevantes para operacionalmente efetivarmos novas vendas.
4.3 Carga de Dados
Agora que desenhamos e construímos as tabelas para receber os dados, precisamos carregá-los a partir daqueles que foram gerados na etapa de inteligência de dados e de preparação dos dados.
Contudo a carga não é somente pontual. O processo de carga e expurgo precisa ser automatizado para que constantemente tenhamos somente as informações relevantes para monitorarmos.
4.4 Outputs
Esses dados vão alimentar uma variedade de interfaces e ações. Não necessariamente sempre haverá a necessidade de um humano ver e analisar as informações. Várias ações podem ser automatizadas, como disparar um email, whatsapp ou chamar uma API externa para alguma ação.
Por isso, tudo que foi desenhado no bloco 3.2, já contemplava as possibilidades de entrega de informação que serão descritas abaixo.
4.4.1 Modelos
Os modelos de Machine Learning têm dois grandes propósitos: prever o comportamento e compreender a dinâmica do comportamento, de clientes por exemplo.
O compreender a dinâmica sinalizará por exemplo uma reclamação impacta mais na compra do que um desconto. Sendo assim, seria mais importante evitar reclamações do que sacrificar preços.
Quando falamos de prever comportamentos, faz-se necessário uma etapa adicional após a criação do modelo preditivo, o scoring. O scoring será o responsável por aplicar o modelo à novos clientes, transações, máquinas, etc.
4.4.2 Dashboards
Outra possibilidade de output são os tradicionais dashboards, para acompanhar a performance das ações. Há tecnologias analíticas low-code, como o Gaio, que permitem criar interfaces de entrada de dados e simulações. Nesse tipo de tecnologia todo o processo de conexão a dados, preparação, Machine Learning, criação de tabelas e visualização para monitoramento é realizada em um só lugar. Isso facilita a construção, manutenção e evolução da solução.
4.4.3 Mapas
O uso de mapas pode ser muito relevante na identificação de oportunidades que envolvem distâncias e tamanhos desproporcionais em locais específicos. Contudo deve se atentar para o uso de Mapas após o uso de inteligência de dados, pois, sem essa etapa, os mapas vão simplesmente refletir o que pode ser visto em uma tabela básica de dados.
4.4.4 Insights
Muito junto a palavra Insights está o termo Análise Prescritiva. Com a Análise Prescritiva tem-se o propósito de trazer recomendações, alinhadas ao objetivo pré-definido nas etapas iniciais, sinalizando ações a serem tomadas de forma automáticas ou semiautomáticas, com o fim de otimizar os resultados no menor espaço de tempo possível.
Um exemplo é perceber tendências de queda nas vendas de um produto específico em um estado específico e já sinalizar ações que podem ser realizadas como a redução de preço de alguns produtos.
4.4.5 Voz
Com o alto grau de utilização de assistente como Siri e Google Assistant, ter alertas e informações relevantes ao comando de voz se tornou uma forma útil. Novamente é bom sinalizar que os alertas do RoDA podem ser consumidos de múltiplas formas. Um vendedor pode estar na rua e ter rapidamente recomendações.
4.4.6 API
Imagine que os alertas identificados precisam acionar um dispositivo físico, paralisar uma máquina, ligar um equipamento, enviar uma notificação para um aplicativo móvel. Sim, isso é possível. Todas as descobertas, alertas e recomendações geradas a partir dessa estrutura de dados pode ser um gatilho que acionará uma API e assim, uma ação ser realizada.
Em tempos onde a tecnologia evoluiu muito e profissionais especializados são disputados a peso de ouro, usar a inteligência artificial para detectar oportunidades e automatizar ações se tornou em alguns casos, fundamental para sobrevivência do negócio.
4.4.7 Mensagens
Finalmente, as descobertas geradas a partir de todo esse processo analítico pode ser apresentada a usuários onde eles estiverem, no canal de comunicação que mais utilizarem. O usuário pode receber recomendações em tempo real em seu Whatsapp ou em ambientes mais corporativos como o Chat do Workplace ou Teams da Microsoft.
5 Conclusão
Enfim, os dados são vastos, a tecnologia está disponível para gerar conhecimento, os canais de comunicação estão muito acessíveis. Cabe a nós conectarmos todas as peças e fazermos diferenças nos negócios, crescermos profissionalmente e impactarmos o mundo, tornando a vida das pessoas mais leves e práticas.
