¿Cuáles son los tipos de Big Data?

Comprender los tipos de big data puede prepararlo mejor para manejar grandes conjuntos de datos

Muchos de los avances en inteligencia artificial, aprendizaje automático y análisis de negocios son posibles gracias a los grandes datos. Los datos impulsan los algoritmos que hacen que los automóviles se conduzcan solos, sugieren la próxima película que deberíamos ver y les dicen a los líderes empresariales cómo aumentar los ingresos.

Pero no todos los datos se crean de la misma manera.

Para clasificar, organizar y analizar de manera efectiva los datos generados por una empresa y sus clientes, un analista de negocios o científico de datos necesita saber con qué tipo de datos está trabajando.

Profundicemos en las características y principales tipos de big data.

Características del Big Data: Las 5 Vs

Si bien big data es un término general que se aplica a muchos tipos de datos, existen cinco características que normalmente se usan para definir big data (también conocidas como las 5 V o las características de big data).

1. Volumen

Esta característica está en el nombre: Big data es grande. La definición de grande es relativa y cambia según la tecnología disponible en ese momento. Por ejemplo, un disco duro de tres gigabytes alguna vez se consideró enorme, mientras que ahora una computadora portátil con un terabyte de almacenamiento es estándar.

2. Velocidad

Los grandes datos se generan rápidamente. Los sensores en los dispositivos IoT envían mensajes varias veces por segundo. El análisis del sitio web monitorea cada movimiento del mouse que hacen los visitantes para obtener información sobre sus hábitos de navegación. Las aplicaciones que usan estos datos a menudo necesitan procesarlos lo más cerca posible del tiempo real.

3. Variedad

La variedad es el tema principal de este artículo (¡así que sigue leyendo para obtener más información!). Existe una variedad significativa en big data; cada organización que recopila datos lo hace de múltiples fuentes y en múltiples formatos. Para convertir estos datos en información útil, se deben combinar datos de diversas fuentes.

4. Veracidad

La veracidad es una característica que define la calidad de los datos. No todos los datos recopilados están completos; puede ser inexacto o contener puntos de datos dañados. Los grandes datos desordenados pueden hacer más daño que bien; Es posible que los datos deban limpiarse o descartarse para proporcionar información precisa.

5. Valor

Una empresa que simplemente tiene una gran cantidad de datos no significa que todos sus datos sean útiles. Otra característica definitoria de los grandes datos es que proporcionará valor en forma de información.

3 tipos principales de big data

Si bien podemos crear un sinfín de categorías para los diferentes tipos de big data, es mucho más sencillo clasificar los big data en tres tipos principales: estructurados, no estructurados y semiestructurados.

1. Datos estructurados

Los macrodatos estructurados son datos almacenados en un esquema fijo. Más comúnmente, esto significa que se almacena en un sistema de administración de bases de datos relacionales o RDBMS. Estos datos se almacenan en tablas donde cada registro tiene un conjunto fijo de propiedades y cada propiedad tiene un tipo de datos fijo.

Un ejemplo son los registros de usuario en una base de datos:.

Todos los registros de esta tabla tienen la misma estructura y cada propiedad tiene un tipo específico. Por ejemplo, la columna Estado está limitada a dos letras mayúsculas y las columnas ID y Código postal están limitadas a números enteros. Si intenta insertar un registro en la base de datos que no se ajusta a esta estructura, no lo permitirá y se mostrará un error.

Los grandes datos estructurados suelen ser relacionales. Esto significa que un registro como la tabla de usuario anterior se puede vincular a un registro o registros en otra tabla. Digamos que la tabla de usuarios es para un carrito de compras y cada usuario tiene pedidos.

IDENTIFICACIÓN	ID_usuario	Artículo	Total
1	1	Taza	2.00
2	2	Recipiente	4.00
3	2	Lámina	3.00
4	4	Cuchara	1.00

La propiedad User_ID de la tabla de pedidos anterior vincula los pedidos con los ID de la tabla de usuarios. Podemos ver que Sara tiene dos pedidos y Sam aún no ha pedido.

Este tipo de estructura estática hace que los datos sean consistentes y fáciles de ingresar, consultar y organizar. El lenguaje utilizado para consultar tablas de bases de datos como estas es SQL (lenguaje de consulta estructurado). Usando SQL, los desarrolladores pueden escribir consultas que unen los registros en las tablas de la base de datos en infinitas combinaciones basadas en sus relaciones.

La desventaja de los datos estructurados es que actualizar la estructura de una tabla puede ser un proceso complejo. Se debe pensar mucho en las estructuras de las tablas incluso antes de comenzar a usar la base de datos. Este tipo de big data no es tan flexible como los datos semiestructurados.

2. Datos no estructurados

Según algunas estimaciones, el 80-90% de los datos no están estructurados. ^{[ 1 ]} Pero, ¿qué son los macrodatos no estructurados? Cualquier dato que no encaje en las otras dos categorías aquí cuenta como no estructurado.

Todo lo que se almacena digitalmente son datos. Los datos no estructurados incluyen texto, correo electrónico, video, audio, registros del servidor, páginas web, etc. A diferencia de los datos estructurados y semiestructurados que pueden consultarse y buscarse de forma coherente, los datos no estructurados no siguen un modelo de datos coherente.

Esto significa que en lugar de simplemente usar consultas para convertir estos datos en información útil, se debe usar un proceso más complejo, según la fuente de datos. Aquí es donde el aprendizaje automático, la inteligencia artificial, el procesamiento del lenguaje natural y el reconocimiento óptico de caracteres (OCR) pueden ser útiles.

Un ejemplo de datos no estructurados son los recibos escaneados que se almacenan para los informes de gastos. En su formato de imagen nativo, los datos son esencialmente inútiles. Aquí, el software OCR puede convertir las imágenes en datos estructurados que luego se pueden insertar en una base de datos.

La desventaja de los macrodatos no estructurados es que son difíciles de procesar y cada fuente de datos necesita un procesador personalizado. Las ventajas incluyen la mera existencia de muchos tipos de datos no estructurados, ya que los conocimientos recopilados a menudo no se pueden encontrar en ninguna otra fuente de datos.

3. Datos semiestructurados

Los grandes datos semiestructurados encajan en algún lugar entre los datos estructurados y los no estructurados. Una fuente común de datos semiestructurados son las bases de datos NoSQL. Los datos en una base de datos NoSQL están organizados, pero no son relacionales y no siguen un esquema consistente.

Aquí, los usuarios acceden a los datos que necesitan mediante las claves del registro. Y aunque se parece a los registros del ejemplo de datos estructurados anterior, no tiene un formato de tabla coherente.

En cambio, está en formato JSON, que se usa para almacenar y transmitir objetos de datos. Si bien este único registro en la base de datos puede tener este conjunto de atributos, no significa que el resto de los registros tendrá la misma estructura. El siguiente registro puede carecer de una dirección de calle pero tener un código postal en su lugar.

Una ventaja de los datos semiestructurados almacenados en una base de datos NoSQL es que son muy flexibles. Si necesita agregar más datos a un registro, simplemente agréguelos con una nueva clave. Esto también puede ser una desventaja si necesita que los datos sean consistentes.

Pero los datos NoSQL no son el único tipo de big data semiestructurado. XML y YAML son otros dos formatos de datos flexibles que las aplicaciones utilizan para transferir y almacenar datos. El correo electrónico también se puede considerar como datos semiestructurados, ya que partes de él se pueden analizar de forma coherente, como las direcciones de correo electrónico, la hora de envío y las direcciones IP, mientras que el cuerpo son datos no estructurados.

Comparación de datos estructurados, semiestructurados y no estructurados

Esta tabla ilustra mejor las diferencias entre estos tres tipos de big data:

Evalúe sus fuentes de datos para comenzar con big data

Un buen primer paso en cualquier proyecto de big data es hacer un inventario de todas las fuentes de datos disponibles para usted y su empresa y clasificarlas por tipo. Esto le permite comenzar a procesar y compilar datos para proporcionar información útil.