Quais são os tipos de Big Data?

Compreender os tipos de big data pode prepará-lo melhor para lidar com grandes conjuntos de dados

Muitos dos avanços em IA , aprendizado de máquina e análise de negócios são possíveis devido ao big data. Os dados alimentam os algoritmos que tornam os carros autônomos, sugerem o próximo filme que devemos assistir e dizem aos líderes empresariais como aumentar a receita.

Mas nem todos os dados são criados iguais.

Para classificar, organizar e analisar efetivamente os dados gerados por uma empresa e seus clientes, um analista de negócios ou cientista de dados precisa saber com que tipo de dados está trabalhando.

Vamos mergulhar nas características e principais tipos de big data.

Características de big data: os 5 Vs

Embora big data seja um termo geral que se aplica a muitos tipos de dados, existem cinco características normalmente usadas para definir big data (também conhecidas como 5 Vs ou recursos de big data).

1. Volume

Essa característica está no nome: big data é big. A definição de grande é relativa e muda de acordo com a tecnologia disponível na época. Por exemplo, um disco rígido de três gigabytes já foi considerado enorme, enquanto agora um laptop com um terabyte de armazenamento é padrão.

2. Velocidade

Big data é gerado rapidamente. Sensores em dispositivos IoT enviam mensagens várias vezes por segundo. A análise do site monitora cada movimento do mouse que os visitantes fazem para obter informações sobre seus hábitos de navegação. Os aplicativos que usam esses dados geralmente precisam processá-los o mais próximo possível do tempo real.

3. Variedade

Variedade é o tema principal deste artigo (então continue lendo para saber mais!). Há uma variedade significativa em big data; toda organização que coleta dados o faz de várias fontes e em vários formatos. Para transformar esses dados em informações úteis, é necessário combinar dados de diversas fontes.

4. Veracidade

A veracidade é uma característica que define a qualidade dos dados. Nem todos os dados coletados estão completos; pode ser impreciso ou conter pontos de dados corrompidos. Big data confuso pode fazer mais mal do que bem; os dados podem precisar ser limpos ou descartados para fornecer informações precisas.

5. Valor

Uma empresa simplesmente ter muitos dados não significa que todos os seus dados sejam úteis. Outra característica definidora do big data é que ele fornecerá valor na forma de insights.

3 tipos principais de big data

Embora possamos criar um número infinito de categorias para os diferentes tipos de big data, é muito mais simples classificar big data em três tipos principais: estruturado, não estruturado e semiestruturado.

1. Dados estruturados

Big data estruturado são dados armazenados em um esquema fixo. Mais comumente, isso significa que ele é armazenado em um sistema de gerenciamento de banco de dados relacional ou RDBMS. Esses dados são armazenados em tabelas onde cada registro possui um conjunto fixo de propriedades e cada propriedade possui um tipo de dados fixo.

Um exemplo são os registros do usuário em um banco de dados:.

Cada registro nesta tabela possui a mesma estrutura e cada propriedade possui um tipo específico. Por exemplo, a coluna Estado é limitada a duas letras maiúsculas e as colunas ID e CEP são limitadas a números inteiros. Se você tentar inserir um registro no banco de dados que não se encaixe nessa estrutura, ele não permitirá e será exibido um erro.

Big data estruturado é tipicamente relacional. Isso significa que um registro como a tabela de usuário acima pode ser vinculado a um registro ou registros em outra tabela. Digamos que a tabela de usuários seja para um carrinho de compras e cada usuário tenha pedidos.

EU IRIA	ID do usuário	Item	Total
1	1	Xícara	2,00
2	2	Tigela	4,00
3	2	Prato	3,00
4	4	Colher	1,00

A propriedade User_ID da tabela de pedidos acima vincula os pedidos aos IDs na tabela de usuários. Podemos ver que Sara tem dois pedidos e Sam ainda não fez o pedido.

Esse tipo de estrutura estática torna os dados consistentes e fáceis de inserir, consultar e organizar. A linguagem usada para consultar tabelas de banco de dados como essas é SQL (Structured Query Language). Usando o SQL, os desenvolvedores podem escrever consultas que juntam os registros nas tabelas do banco de dados em combinações infinitas com base em seus relacionamentos.

A desvantagem dos dados estruturados é que atualizar a estrutura de uma tabela pode ser um processo complexo. Muito pensamento deve ser colocado em estruturas de tabela antes mesmo de começar a usar o banco de dados. Esse tipo de big data não é tão flexível quanto os dados semiestruturados.

2. Dados não estruturados

De acordo com algumas estimativas, 80-90% dos dados não são estruturados. ^{[ 1 ]} Mas o que são big data não estruturados? Qualquer dado que não se encaixe nas outras duas categorias conta como não estruturado.

Tudo o que é armazenado digitalmente são dados. Os dados não estruturados incluem texto, e-mail, vídeo, áudio, logs do servidor, páginas da Web e assim por diante. Ao contrário dos dados estruturados e semiestruturados que podem ser consultados e pesquisados ​​de maneira consistente, os dados não estruturados não seguem um modelo de dados consistente.

Isso significa que, em vez de simplesmente usar consultas para transformar esses dados em informações úteis, deve-se usar um processo mais complexo, dependendo da fonte de dados. É aqui que o aprendizado de máquina, a inteligência artificial, o processamento de linguagem natural e o reconhecimento óptico de caracteres (OCR) podem ser úteis.

Um exemplo de dados não estruturados são os recibos digitalizados que são armazenados para relatórios de despesas. Em seu formato de imagem nativo, os dados são essencialmente inúteis. Aqui, o software OCR pode transformar as imagens em dados estruturados que podem ser inseridos em um banco de dados.

A desvantagem do big data não estruturado é que é difícil de processar e cada fonte de dados precisa de um processador personalizado. As vantagens incluem a mera existência de muitos tipos de dados não estruturados, já que os insights obtidos a partir deles geralmente não podem ser encontrados em nenhuma outra fonte de dados.

3. Dados semiestruturados

Big data semiestruturado se encaixa em algum lugar entre dados estruturados e não estruturados. Uma fonte comum de dados semiestruturados são os bancos de dados NoSQL. Os dados em um banco de dados NoSQL são organizados, mas não são relacionais e não seguem um esquema consistente.

Aqui, os usuários acessam os dados de que precisam pelas chaves no registro. E embora pareça semelhante aos registros no exemplo de dados estruturados acima, não está em um formato de tabela consistente.

Em vez disso, está no formato JSON, que é usado para armazenar e transmitir objetos de dados. Embora esse único registro no banco de dados possa ter esse conjunto de atributos, isso não significa que o restante dos registros terá a mesma estrutura. O próximo registro pode não ter um endereço, mas ter um CEP.

Uma vantagem dos dados semiestruturados armazenados em um banco de dados NoSQL é que eles são muito flexíveis. Se você precisar adicionar mais dados a um registro, basta adicioná-lo com uma nova chave. Isso também pode ser uma desvantagem se você precisar que os dados sejam consistentes.

Mas os dados NoSQL não são o único tipo de big data semiestruturado. XML e YAML são dois outros formatos de dados flexíveis que os aplicativos usam para transferir e armazenar dados. O e-mail também pode ser considerado dados semiestruturados, pois partes dele podem ser analisadas de forma consistente, como endereços de e-mail, hora de envio e endereços IP, enquanto o corpo é um dado não estruturado.

Comparando dados estruturados, semiestruturados e não estruturados

Esta tabela ilustra melhor as diferenças entre esses três tipos de big data:

Avalie suas fontes de dados para começar com big data

Uma boa primeira etapa em qualquer projeto de big data é fazer um inventário de todas as fontes de dados disponíveis para você e sua empresa e categorizá-las por tipo. Isso permite que você comece a processar e compilar dados para fornecer insights úteis.