Come utilizzare l'apprendimento automatico nell'analisi dei big data

Il machine learning consente alle organizzazioni di trasformare i big data in insight che aumentano i profitti. Scopri come i big data e l'apprendimento automatico sono correlati e come utilizzarli.

Anni fa, gli imprenditori dovevano fare affidamento sulla propria memoria per personalizzare il modo in cui servivano la propria clientela. Quando la signora Jones è entrata, la proprietaria di un negozio ha dovuto ricordare cosa aveva comprato l'ultima volta, se l'avesse riportato o meno e se se ne fosse lamentata durante la sua ultima visita.

Ora, grazie ai big data, tonnellate di dati relativi a clienti e aziende sono a portata di mano. Sai dove vive la signora Jones, cosa ha comprato negli ultimi 10 anni, quanto ha speso, quanto spesso restituisce gli articoli e dozzine di altre metriche. Utilizzando l'apprendimento automatico, puoi trasformare questi e altri dati in informazioni utili per il business. Ecco una ripartizione dei big data e dell'apprendimento automatico e di come puoi sfruttarli per potenziare la tua attività.

Cosa sono i big data e l'apprendimento automatico?

I big data e l'apprendimento automatico sono diversi ma intimamente connessi.

Cosa sono i big data?

I big data si riferiscono a set di dati enormi o incredibilmente complessi che potrebbero essere impossibili da sfruttare senza strumenti specializzati. Alcune aziende non hanno mai a che fare con i big data. Ad esempio, se hai un ristorante con tre sedi che producono dati sulle vendite e sull'inventario, non si tratta di "big data".

D'altra parte, se lo stesso ristorante aggiunge altre 10 posizioni e un'app mobile che consente ai clienti di effettuare ordini online, sfruttare i premi fedeltà e chattare con un rappresentante del servizio clienti tramite SMS, ora hai una situazione di big data. L'app da sola può produrre dati riguardanti:

• I pasti che i clienti ordinano più spesso

• Gli orari della giornata in cui i clienti effettuano gli ordini

• Da dove i clienti ordinano il cibo in base ai dati di geolocalizzazione

• Dove vivono i clienti e le statistiche di acquisto associate a ciascuna città

• Dati di vendita da ogni posizione

• Come i clienti utilizzano i loro punti premio

• Dati di acquisto durante i periodi di punta e festivi

Questi esempi si limitano a graffiare la superficie. Questo tipo di app potrebbe generare dozzine di set di dati. Inoltre, le informazioni fluirebbero su una base quasi costante. Sono i big data.

Cos'è l'apprendimento automatico?

L'apprendimento automatico (ML) si riferisce all'utilizzo di computer per riconoscere i modelli nei dati. L'apprendimento automatico lo fa utilizzando algoritmi, che sono insiemi di istruzioni disposte passo dopo passo. Un modello di apprendimento automatico utilizza i passaggi di un algoritmo per apprendere i modelli. Ciò include anche riconoscere quando i modelli vengono interrotti e imparare a confrontare i modelli tra loro.

Come semplice esempio, supponi di voler creare un algoritmo di apprendimento automatico per analizzare i dati di vendita. Hai cinque anni di dati sulle vendite. Il tuo obiettivo è massimizzare i profitti estivi cercando di capire quali prodotti dovresti offrire in vendita tra giugno e agosto.

Ovviamente, potresti fare un ulteriore passo avanti nel machine learning e incorporare il costo delle merci vendute (COGS) per ciascun prodotto, inclusi spedizione, manodopera, stoccaggio e altri dati. Quindi il tuo modello ML potrebbe consigliare non solo i prodotti che hanno il più alto volume di vendite estive, ma può anche dirti quali portano il maggior profitto netto.

Che cos'è l'apprendimento automatico nei big data?

Nel contesto dei big data, ogni volta che possono esserci modelli nei dati, puoi utilizzare l'apprendimento automatico per scoprirli e fornire informazioni utili. Inoltre, puoi utilizzare ML per formulare raccomandazioni basate sui modelli analizzati dagli algoritmi.

Come funziona il machine learning con i big data

Una delle applicazioni più popolari del machine learning sono i veicoli a guida autonoma. L'auto utilizza l'apprendimento automatico per decidere cosa fare in relazione ai dati raccolti dall'ambiente circostante e da altri veicoli.

Ad esempio, quando le telecamere all'interno di un veicolo a guida autonoma “vedono” un segnale di stop, possono riconoscerlo come tale e azionare automaticamente i freni. Molto probabilmente il processo alla base di questa decisione è iniziato con un gruppo di data scientist che ha testato più algoritmi di machine learning. Ad alto livello, questo richiede tre passaggi:

1. Formazione

Per analizzare i big data, i data scientist utilizzano innanzitutto un set di formazione per insegnare a uno o più algoritmi cosa dovrebbero cercare.

Ad esempio, con un segnale di stop, il training set sarebbe costituito da migliaia di immagini di segnali di stop. Gli ingegneri dei dati presenterebbero immagini di segnali di stop da diverse angolazioni, con illuminazione diversa e persino con alberi o altri oggetti che li bloccano parzialmente.

Al termine della fase di addestramento, la speranza è che l'algoritmo abbia identificato i modelli nelle forme e nei colori dei segnali di stop. In altre parole, sa che aspetto ha un segnale di stop, e con illuminazione diversa e da una varietà di angolazioni.

2. Convalida

Il set di convalida viene utilizzato per capire quanto sia accurato il modello ML utilizzando un set di big data completamente diverso. Lo scopo della fase di convalida è scoprire modi per mettere a punto il modello ML.

Ad esempio, supponiamo che il modello ML progettato per identificare i segnali di stop fosse accurato al 95% e che tutte le immagini sbagliate fossero molto scure. Gli sviluppatori potrebbero quindi utilizzare un'altra formula che aumenta il contrasto di ciascuna immagine, rendendo più facili da vedere le caratteristiche importanti per il modello ML.

3. Test

La fase di test prevede l'alimentazione del modello ML con più big data completamente diversi da quelli visti durante le fasi di addestramento e convalida.

Ad esempio, per testare il modello dei segnali di stop, i programmatori potrebbero mostrare al modello ML 250.000 immagini di diversi tipi di segnali, alcuni dei quali sono segnali di stop. Avrebbero quindi analizzato i risultati per vedere quanto accuratamente il modello fosse in grado di differenziare i segnali di stop, oltre a evitare di identificare erroneamente altri tipi di segnali.

Sfide con l'apprendimento automatico e i big data

Due delle sfide più scoraggianti che devono affrontare i data scientist che utilizzano il machine learning per studiare i big data sono l'inesattezza e i dilemmi etici.

1. Imprecisione

Naturalmente, anche con processi computazionali avanzati coinvolti, dovrai comunque affrontare un elemento di tentativi ed errori ogni volta che utilizzi l'apprendimento automatico nell'analisi dei big data. Questo perché non si sa mai quali fattori potrebbero distorcere i risultati durante l'addestramento, la convalida e il test del modello.

Ad esempio, quando si identificano immagini, come segnali di stop o volti umani, più fattori potrebbero contribuire a prestazioni scadenti nel modello ML. Ad esempio, supponi di sviluppare un modello di machine learning per migliorare il sistema di sicurezza della tua azienda. In particolare, vuoi un modello in grado di identificare i volti dei dirigenti e di altre persone di alto rango in modo che possano avere accesso alle aree sensibili dell'edificio. Durante la fase di convalida, il sistema è accurato solo al 65% circa. Ma questo potrebbe essere dovuto a diverse variabili, come ad esempio:

• Immagini pixelate di volti

• Immagini fuori fuoco

• La persona che distoglie lo sguardo durante la scansione facciale

• L'individuo che decide di indossare occhiali da sole, una maschera per il viso, una sciarpa o qualcos'altro che potrebbe distorcere i risultati dell'identificazione

2. Dilemmi etici

Ci sono anche sfide etiche. Ad esempio, supponiamo che un dipartimento delle risorse umane utilizzi l'apprendimento automatico per identificare i candidati più qualificati, estraendoli da uno stack digitale di 1.500 curriculum.

Se il modello ML è stato addestrato utilizzando aziende e reparti di assunzione gestiti solo da uomini, i dati potrebbero includere bias. Alcuni uomini potrebbero essere più inclini ad assumere altri maschi, per motivi diversi dai loro meriti o qualifiche. Pertanto, il candidato "di successo" che gli ingegneri hanno addestrato il modello ML a cercare potrebbe, nella maggior parte dei casi, essere maschio. Di conseguenza, il modello consiglia gli uomini invece delle donne che potrebbero essere state più qualificate.

In un contesto aziendale, come sono correlati i big data e il machine learning?

In un contesto aziendale, l'apprendimento automatico utilizza i big data prodotti dall'organizzazione per migliorare o automatizzare i processi business-critical e migliorare la sicurezza. Le potenziali applicazioni sono letteralmente infinite e diverse quanto i diversi tipi di dati che produci.

Ad esempio, una fabbrica o un impianto di produzione potrebbe utilizzare l'apprendimento automatico per ottimizzare i livelli di temperatura e umidità per la sua fabbrica. Ad esempio, i modelli di machine learning possono capire:

• I livelli di temperatura e umidità che massimizzano la produttività dei dipendenti riducendo al minimo il numero di pause impreviste che devono fare

• I livelli di temperatura e umidità ideali per apparecchiature sensibili che potrebbero deteriorarsi più rapidamente in condizioni errate

• Le condizioni di temperatura e umidità più convenienti, date le spese di gestione dei sistemi HVAC e dei deumidificatori

Il sistema potrebbe quindi essere utilizzato per controllare automaticamente il sistema atmosferico per ottenere risultati ottimali.

In che modo l'apprendimento automatico e l'analisi dei big data vengono utilizzati nel marketing?

Il marketing offre alcune delle applicazioni più promettenti dell'apprendimento automatico e dell'analisi dei big data. Considera il seguente esempio di vita reale.

Albert di Harley Davidson aumenta i lead del 2.930%

Harley Davidson ha costruito un robot di nome Albert che utilizza l'apprendimento automatico per prendere decisioni di marketing ^{[ 1 ]} . È così che Albert ha aiutato i dirigenti di Harley Davidson a cavalcare verso un tramonto più luminoso.

Harley Davidson voleva sfruttare le relazioni esistenti con i clienti precedenti. Hanno usato Albert per analizzare:

• Con quale frequenza le persone hanno effettuato acquisti

• Quanto hanno speso questi clienti

• Quanto tempo i clienti hanno trascorso a navigare sul sito web di Harley Davidson

Albert ha quindi utilizzato questi dati per separare i clienti in diversi segmenti. Il team di marketing ha quindi creato campagne di prova per ciascuna categoria di clienti. Dopo aver testato il successo della campagna, il team l'ha ampliata per coinvolgere un'ampia fascia di clienti precedenti.

Di conseguenza, Harley Davidson ha aumentato le sue vendite del 40%. Hanno anche generato il 2.930% in più di lead. La metà di questi indizi è stata identificata direttamente da Albert stesso. Albert ha studiato i profili dei lead che molto probabilmente si convertiranno in clienti paganti, quindi ha studiato i profili dei dati di altri utenti e ha individuato i "sosia" o persone che hanno molto in comune con i clienti ad alta conversione.

Sia che tu stia cercando di capire cosa acquisterà la prossima signora Jones o di ottimizzare l'efficienza di un impianto di produzione complesso, l'apprendimento automatico può trasformare i big data apparentemente casuali in intuizioni trasformative. Con un po' di brainstorming e pensiero creativo, puoi trovare modi per utilizzare ML e big data per superare la concorrenza e portare la tua organizzazione al livello successivo.