Quali sono i tipi di Big Data?

Comprendere i tipi di big data può prepararti meglio a gestire set di dati di grandi dimensioni

Molti dei progressi nell'intelligenza artificiale, nell'apprendimento automatico e nell'analisi aziendale sono possibili grazie ai big data. I dati alimentano gli algoritmi che rendono le auto a guida autonoma, suggeriscono il prossimo film che dovremmo guardare e dicono ai leader aziendali come aumentare le entrate.

Ma non tutti i dati vengono creati allo stesso modo.

Per classificare, organizzare e analizzare in modo efficace i dati generati da un'azienda e dai suoi clienti, un analista aziendale o un data scientist deve sapere con quale tipo di dati sta lavorando.

Entriamo nelle caratteristiche e nei principali tipi di big data.

Caratteristiche dei big data: i 5 vs

Mentre i big data sono un termine generico che si applica a molti tipi di dati, ci sono cinque caratteristiche tipicamente utilizzate per definire i big data (note anche come le 5 V o le caratteristiche dei big data).

1. Volume

Questa caratteristica è nel nome: i big data sono grandi. La definizione di big è relativa e cambia a seconda della tecnologia disponibile al momento. Ad esempio, un disco rigido da tre gigabyte una volta era considerato enorme, mentre ora un laptop con un terabyte di spazio di archiviazione è standard.

2. Velocità

I big data vengono generati rapidamente. I sensori sui dispositivi IoT inviano messaggi più volte al secondo. L'analisi dei siti web monitora ogni movimento del mouse che i visitatori fanno per ottenere informazioni sulle loro abitudini di navigazione. Le applicazioni che utilizzano questi dati spesso devono elaborarli il più vicino possibile al tempo reale.

3. Varietà

La varietà è l'argomento principale di questo articolo (quindi continua a leggere per saperne di più!). C'è una notevole varietà nei big data; ogni organizzazione che raccoglie dati lo fa da più fonti e in più formati. Per trasformare questi dati in informazioni utili, è necessario combinare i dati provenienti da diverse fonti.

4. Veridicità

La veridicità è una caratteristica che definisce la qualità dei dati. Non tutti i dati raccolti sono completi; potrebbe essere impreciso o contenere punti dati corrotti. I big data disordinati possono fare più male che bene; potrebbe essere necessario pulire o eliminare i dati per fornire approfondimenti accurati.

5. Valore

Un'azienda che dispone semplicemente di molti dati non significa che tutti i suoi dati siano utili. Un'altra caratteristica distintiva dei big data è che forniranno valore sotto forma di approfondimenti.

3 tipi principali di big data

Mentre potremmo creare un numero infinito di categorie per i diversi tipi di big data, è molto più semplice ordinare i big data in tre tipi principali: strutturati, non strutturati e semi-strutturati.

1. Dati strutturati

I big data strutturati sono dati archiviati in uno schema fisso. Più comunemente, ciò significa che è archiviato in un sistema di gestione di database relazionali o RDBMS. Questi dati vengono archiviati in tabelle in cui ogni record ha un insieme fisso di proprietà e ogni proprietà ha un tipo di dati fisso.

Un esempio sono i record utente in un database:.

Ogni record in questa tabella ha la stessa struttura e ogni proprietà ha un tipo specifico. Ad esempio, la colonna Stato è limitata a due lettere maiuscole e le colonne ID e CAP sono limitate a numeri interi. Se si tenta di inserire un record nel database che non si adatta a questa struttura, non lo consentirà e verrà visualizzato un errore.

I big data strutturati sono tipicamente relazionali. Ciò significa che un record come la tabella utente sopra può essere collegato a un record o record in un'altra tabella. Diciamo che la tabella utente è per un carrello della spesa e ogni utente ha ordini.

ID	ID utente	Elemento	Totale
1	1	Tazza	2.00
2	2	Ciotola	4.00
3	2	Piatto	3.00
4	4	Cucchiaio	1.00

La proprietà User_ID della tabella degli ordini di cui sopra collega gli ordini agli ID nella tabella degli utenti. Possiamo vedere che Sara ha due ordini e Sam non ha ancora ordinato.

Questo tipo di struttura statica rende i dati coerenti e facili da immettere, interrogare e organizzare. Il linguaggio utilizzato per interrogare tabelle di database come queste è SQL (Structured Query Language). Utilizzando SQL, gli sviluppatori possono scrivere query che uniscono i record nelle tabelle del database in infinite combinazioni basate sulle loro relazioni.

Lo svantaggio dei dati strutturati è che l'aggiornamento della struttura di una tabella può essere un processo complesso. È necessario riflettere molto sulle strutture delle tabelle prima ancora di iniziare a utilizzare il database. Questo tipo di big data non è flessibile come i dati semi-strutturati.

2. Dati non strutturati

Secondo alcune stime, l'80-90% dei dati non è strutturato. ^{[ 1 ]} Ma cosa sono i big data non strutturati? Tutti i dati che non rientrano nelle altre due categorie qui contano come non strutturati.

Tutto ciò che viene archiviato digitalmente è un dato. I dati non strutturati includono testo, e-mail, video, audio, registri del server, pagine Web e così via. A differenza dei dati strutturati e semi-strutturati che possono essere interrogati e cercati in modo coerente, i dati non strutturati non seguono un modello di dati coerente.

Ciò significa che invece di utilizzare semplicemente le query per trasformare questi dati in informazioni utili, è necessario utilizzare un processo più complesso, a seconda dell'origine dati. È qui che possono essere utili l'apprendimento automatico, l'intelligenza artificiale, l'elaborazione del linguaggio naturale e il riconoscimento ottico dei caratteri (OCR).

Un esempio di dati non strutturati sono le ricevute scansionate che vengono archiviate per le note spese. Nel loro formato immagine nativo, i dati sono essenzialmente inutili. Qui, il software OCR può trasformare le immagini in dati strutturati che possono poi essere inseriti in un database.

Lo svantaggio dei big data non strutturati è che sono difficili da elaborare e ogni origine dati necessita di un processore personalizzato. I vantaggi includono la mera esistenza di molti tipi di dati non strutturati, poiché le informazioni raccolte da essi spesso non possono essere trovate in nessun'altra fonte di dati.

3. Dati semistrutturati

I big data semi-strutturati si inseriscono da qualche parte tra dati strutturati e non strutturati. Una fonte comune di dati semi-strutturati proviene dai database NoSQL. I dati in un database NoSQL sono organizzati, ma non sono relazionali e non seguono uno schema coerente.

Qui, gli utenti accedono ai dati di cui hanno bisogno tramite le chiavi nel record. E mentre sembra simile ai record nell'esempio di dati strutturati sopra, non è in un formato di tabella coerente.

Invece, è in formato JSON, che viene utilizzato per archiviare e trasmettere oggetti dati. Sebbene questo record nel database possa avere questo insieme di attributi, ciò non significa che il resto dei record avrà la stessa struttura. Il record successivo potrebbe non avere un indirizzo ma avere invece un codice postale.

Un vantaggio dei dati semi-strutturati archiviati in un database NoSQL è che sono molto flessibili. Se devi aggiungere più dati a un record, aggiungili semplicemente con una nuova chiave. Questo può anche essere uno svantaggio se hai bisogno di dati coerenti.

Ma i dati NoSQL non sono l'unico tipo di big data semi-strutturati. XML e YAML sono altri due formati di dati flessibili che le applicazioni utilizzano per trasferire e archiviare i dati. Le e-mail possono anche essere considerate dati semi-strutturati poiché parti di esse possono essere analizzate in modo coerente, come indirizzi e-mail, ora di invio e indirizzi IP, mentre il corpo è costituito da dati non strutturati.

Confronto di dati strutturati, semi-strutturati e non strutturati

Questa tabella illustra meglio le differenze tra questi tre tipi di big data:

Valuta le tue origini dati per iniziare con i big data

Un buon primo passo in qualsiasi progetto di big data è fare un inventario di tutte le fonti di dati disponibili per te e la tua azienda e classificarle per tipo. Ciò consente di iniziare l'elaborazione e la compilazione dei dati per fornire informazioni utili.