Como usar o aprendizado de máquina na análise de Big Data

O aprendizado de máquina permite que as organizações transformem big data em insights que aumentam os lucros. Saiba como big data e aprendizado de máquina estão relacionados e como usá-los.

Anos atrás, os proprietários de empresas precisavam confiar em sua memória para personalizar como atendiam sua clientela. Quando a Sra. Jones entrou, o dono da loja teve que lembrar o que ela comprou da última vez, se ela acabou trazendo ou não de volta, e se ela reclamou durante sua última visita.

Agora, graças ao big data, toneladas de dados de clientes e negócios estão ao seu alcance. Você sabe onde a Sra. Jones mora, o que ela comprou nos últimos 10 anos, quanto ela gastou, com que frequência ela devolve itens e dezenas de outras métricas. Usando o aprendizado de máquina, você pode transformar esses e outros dados em insights que impulsionam os negócios. Aqui está um detalhamento de big data e aprendizado de máquina e como você pode aproveitá-los para impulsionar seus negócios.

O que são big data e aprendizado de máquina?

Big data e aprendizado de máquina são diferentes, mas intimamente conectados.

O que são grandes dados?

Big data refere-se a conjuntos de dados enormes ou incrivelmente complexos que podem ser impossíveis de alavancar sem ferramentas especializadas. Algumas empresas nunca precisam lidar com big data. Por exemplo, se você tem um restaurante com três locais produzindo dados de vendas e estoque, isso não é “big data”.

Por outro lado, se esse mesmo restaurante adicionar mais 10 locais e um aplicativo móvel que permita aos clientes fazer pedidos online, aproveitar recompensas de fidelidade e conversar com um representante de atendimento ao cliente via texto, agora você terá uma situação de big data. O aplicativo sozinho pode produzir dados sobre:

• As refeições que os clientes pedem com mais frequência

• As horas do dia em que os clientes fazem pedidos

• De onde os clientes pedem comida com base em dados de geolocalização

• Onde os clientes moram e as estatísticas de compra associadas a cada cidade

• Dados de vendas de cada local

• Como os clientes usam seus pontos de recompensa

• Compra de dados durante os horários de pico e feriados

Esses exemplos apenas arranham a superfície. Esse tipo de aplicativo pode gerar dezenas de conjuntos de dados. Além disso, as informações seriam transmitidas quase constantemente. Isso é big data.

O que é aprendizado de máquina?

O aprendizado de máquina (ML) refere-se ao uso de computadores para reconhecer padrões nos dados. O aprendizado de máquina faz isso usando algoritmos, que são conjuntos de instruções apresentadas passo a passo. Um modelo de aprendizado de máquina usa as etapas de um algoritmo para aprender padrões. Isso também inclui reconhecer quando os padrões estão sendo quebrados e aprender a compará-los entre si.

Como um exemplo simples, suponha que você queira criar um algoritmo de aprendizado de máquina para analisar dados de vendas. Você tem cinco anos de números de vendas. Seu objetivo é maximizar os lucros do verão, descobrindo quais produtos você deve colocar à venda entre junho e agosto.

Claro, você poderia levar o ML um passo adiante e incorporar seu custo de mercadorias vendidas (COGS) para cada produto, incluindo frete, mão de obra, armazenamento e outros dados. Então, seu modelo de ML pode recomendar não apenas os produtos com o maior volume de vendas no verão, mas também pode dizer quais trazem o maior lucro líquido.

O que é aprendizado de máquina em big data?

No contexto de big data, sempre que houver padrões nos dados, você pode usar o aprendizado de máquina para descobri-los e fornecer insights úteis. Além disso, você pode usar ML para fazer recomendações com base nos padrões que os algoritmos analisam.

Como o aprendizado de máquina funciona com big data

Uma das aplicações mais populares do aprendizado de máquina são os veículos autônomos. O carro usa aprendizado de máquina para decidir o que fazer em relação aos dados que coleta de seus arredores e de outros veículos.

Por exemplo, quando as câmeras dentro de um veículo autônomo “veem” uma placa de pare, elas podem reconhecê-la como tal e aplicar os freios automaticamente. O processo por trás dessa decisão provavelmente começou com um grupo de cientistas de dados testando vários algoritmos de aprendizado de máquina. Em um nível alto, isso leva três etapas:

1. Treinamento

Para analisar big data, os cientistas de dados primeiro usam um conjunto de treinamento para ensinar a um ou mais algoritmos o que eles devem procurar.

Por exemplo, com um sinal de parada, o conjunto de treinamento seria milhares de imagens de sinais de parada. Os engenheiros de dados apresentariam imagens de sinais de parada de diferentes ângulos, em diferentes iluminações e até mesmo com árvores ou outros objetos bloqueando-os parcialmente.

No final da fase de treinamento, a esperança é que o algoritmo tenha identificado padrões nas formas e cores dos sinais de parada. Em outras palavras, ele sabe como uma placa de pare “se parece” – e sob iluminação diferente e de vários ângulos.

2. Validando

O conjunto de validação é usado para descobrir a precisão do modelo de ML usando um conjunto completamente diferente de big data. O objetivo da fase de validação é descobrir maneiras de ajustar o modelo de ML.

Por exemplo, suponha que o modelo de ML projetado para identificar sinais de parada tenha 95% de precisão e todas as imagens erradas estejam muito escuras. Os desenvolvedores poderiam então usar outra fórmula que aumentasse o contraste de cada imagem, facilitando a visualização de características importantes pelo modelo de ML.

3. Teste

A fase de teste envolve alimentar o modelo de ML com mais big data, completamente diferente do que foi visto durante as fases de treinamento e validação.

Por exemplo, para testar o modelo de sinal de parada, os programadores podem mostrar ao modelo ML 250.000 imagens de diferentes tipos de sinais, alguns dos quais são sinais de parada. Eles então analisariam os resultados para ver com que precisão o modelo era capaz de diferenciar os sinais de parada, bem como evitar a identificação incorreta de outros tipos de sinais.

Desafios com machine learning e big data

Dois dos desafios mais assustadores enfrentados pelos cientistas de dados que usam ML para estudar big data são a imprecisão e os dilemas éticos.

1. Imprecisão

Naturalmente, mesmo com processos computacionais avançados envolvidos, você ainda passará por um elemento de tentativa e erro sempre que usar o aprendizado de máquina na análise de big data. Isso ocorre porque você nunca sabe quais fatores podem distorcer seus resultados ao treinar, validar e testar seu modelo.

Por exemplo, ao identificar imagens, como placas de pare ou rostos humanos, vários fatores podem contribuir para um desempenho insatisfatório em seu modelo de ML. Por exemplo, suponha que você esteja desenvolvendo um modelo de aprendizado de máquina para melhorar o sistema de segurança de sua empresa. Especificamente, você deseja um modelo que possa identificar os rostos de executivos e outras pessoas de alto escalão para que possam ter acesso a áreas sensíveis do edifício. Durante a fase de validação, o sistema tem apenas cerca de 65% de precisão. Mas isso pode ser devido a várias variáveis, como:

• Imagens pixeladas de rostos

• Imagens que estão fora de foco

• A pessoa desviando o olhar durante a varredura facial

• O indivíduo que decide usar óculos de sol, máscara facial, cachecol ou qualquer outra coisa que possa distorcer os resultados da identificação

2. Dilemas éticos

Há também desafios éticos. Por exemplo, suponha que um departamento de RH use aprendizado de máquina para identificar os candidatos mais qualificados, retirando-os de uma pilha digital de 1.500 currículos.

Se o modelo ML foi treinado usando empresas e departamentos de contratação administrados apenas por homens, os dados podem incluir viés. Alguns homens podem estar mais inclinados a contratar outros homens - por razões que não sejam seus méritos ou qualificações. Portanto, o candidato “bem-sucedido” que os engenheiros treinaram o modelo de ML para procurar pode, na maioria dos casos, ser do sexo masculino. Como resultado, o modelo recomenda homens em vez de mulheres que podem ter sido mais qualificados.

Em um contexto de negócios, como big data e aprendizado de máquina estão relacionados?

Em um contexto de negócios, o aprendizado de máquina usa o big data que sua organização produz para melhorar ou automatizar processos críticos de negócios e aumentar a segurança. As aplicações potenciais são literalmente infinitas — e tão diversas quanto os diferentes tipos de dados que você produz.

Por exemplo, uma fábrica ou instalação de produção pode usar o aprendizado de máquina para otimizar os níveis de temperatura e umidade do chão de fábrica. Por exemplo, os modelos de aprendizado de máquina podem descobrir:

• Os níveis de temperatura e umidade que maximizam a produtividade dos funcionários, minimizando o número de pausas não planejadas que eles precisam fazer

• Os níveis ideais de temperatura e umidade para equipamentos sensíveis que podem se deteriorar mais rapidamente em condições inadequadas

• As condições de temperatura e umidade mais econômicas, considerando as despesas de operação de sistemas HVAC e desumidificadores

O sistema pode então ser usado para controlar automaticamente seu sistema atmosférico para alcançar os melhores resultados.

Como o aprendizado de máquina e a análise de big data são usados ​​no marketing?

O marketing oferece algumas das aplicações mais promissoras de aprendizado de máquina e análise de big data. Considere o seguinte exemplo da vida real.

Albert, da Harley Davidson, aumenta a liderança em 2.930%

A Harley Davidson construiu um robô chamado Albert que usa aprendizado de máquina para tomar decisões de marketing ^{[ 1 ]} . Foi assim que Albert ajudou os executivos da Harley Davidson a cavalgar rumo a um pôr do sol mais brilhante.

A Harley Davidson queria alavancar seus relacionamentos existentes com clientes anteriores. Eles usaram Albert para analisar:

• Com que frequência as pessoas fizeram compras

• Quanto esses clientes gastaram

• Quanto tempo os clientes passaram navegando no site da Harley Davidson

Albert então usou esses dados para separar os clientes em diferentes segmentos. A equipe de marketing então criou campanhas de teste para cada categoria de clientes. Depois de testar o sucesso da campanha, a equipe a ampliou para envolver uma ampla gama de clientes anteriores.

Como resultado, a Harley Davidson aumentou suas vendas em 40%. Eles também geraram 2.930% mais leads. Metade desses leads foram identificados diretamente pelo próprio Albert. Albert estudou os perfis de leads com grande probabilidade de se converter em clientes pagantes e, em seguida, estudou os perfis de dados de outros usuários e identificou “sósias” ou pessoas que têm muito em comum com os clientes de alta conversão.

Esteja você tentando descobrir o que a Sra. Jones comprará em seguida ou otimizando a eficiência de uma instalação de produção complexa, o aprendizado de máquina pode transformar big data aparentemente aleatório em insights transformacionais. Com um pouco de brainstorming e pensamento criativo, você pode encontrar maneiras de usar ML e big data para superar a concorrência e levar sua organização para o próximo nível.