大數據有哪些類型？

了解大數據的類型可以更好地為處理大型數據集做好準備

由於大數據，人工智能、機器學習和業務分析的許多進步成為可能。 數據為自動駕駛汽車的算法提供動力，建議我們應該看的下一部電影，並告訴企業領導者如何增加收入。

但並非所有數據都是相同的。

為了有效地分類、組織和分析企業及其客戶生成的數據，業務分析師或數據科學家需要知道他們正在處理的數據類型。

讓我們深入了解大數據的特徵和主要類型。

大數據特徵：5 Vs

雖然大數據是適用於多種數據類型的通用術語，但通常有五個特徵用於定義大數據（也稱為 5 V 或大數據的特徵）。

1.體積

這個特點就是名字：大數據就是大。 大的定義是相對的，根據當時可用的技術而變化。 例如，一個 3 GB 的硬盤驅動器曾經被認為是巨大的，而現在具有 TB 存儲空間的筆記本電腦是標準配置。

2.速度

大數據是快速生成的。 IoT 設備上的傳感器每秒發送多次消息。 網站分析監控訪問者的每一次鼠標移動，以深入了解他們的瀏覽習慣。 使用此數據的應用程序通常需要盡可能接近實時地處理它。

3.多樣性

多樣性是本文的主題（因此請繼續閱讀以獲取更多信息！）。 大數據種類繁多； 每個收集數據的組織都從多個來源以多種格式收集數據。 為了將這些數據轉化為有用的信息，必須結合來自不同來源的數據。

4. 真實性

準確性是定義數據質量的一個特徵。 並非所有收集的數據都是完整的； 它可能不准確或包含損壞的數據點。 混亂的大數據弊大於利； 可能需要清理或丟棄數據以提供準確的見解。

5.價值

僅擁有大量數據的企業並不意味著其所有數據都是有用的。 大數據的另一個決定性特徵是它將以洞察力的形式提供價值。

大數據的三種主要類型

雖然我們可以為不同類型的大數據創建無數的類別，但將大數據分為三種主要類型要簡單得多：結構化、非結構化和半結構化。

1.結構化數據

結構化大數據是以固定模式存儲的數據。 最常見的是，這意味著它存儲在關係數據庫管理系統或 RDBMS 中。 此數據存儲在表中，其中每條記錄都有一組固定的屬性，並且每個屬性都有固定的數據類型。

一個例子是數據庫中的用戶記錄：。

該表中的每條記錄都具有相同的結構，並且每個屬性都有特定的類型。 例如，State 列限制為兩個大寫字母，ID 和 ZIP code 列限制為整數。 如果您嘗試在數據庫中插入一條不適合此結構的記錄，它將不允許插入，並且會顯示錯誤。

結構化大數據通常是關係型的。 這意味著一條記錄（如上面的用戶表）可以鏈接到另一個表中的一條或多條記錄。 假設用戶表用於購物車，每個用戶都有訂單。

ID	用戶身份	物品	全部的
1個	1個	杯子	2.00
2個	2個	碗	4.00
3個	2個	盤子	3.00
4個	4個	勺子	1.00

上面訂單表的 User_ID 屬性將訂單鏈接到用戶表中的 ID。 我們可以看到 Sara 有兩個訂單，而 Sam 還沒有訂購。

這種靜態結構使數據保持一致，易於輸入、查詢和組織。 用於查詢此類數據庫表的語言是 SQL（結構化查詢語言）。 使用 SQL，開發人員可以編寫查詢，根據它們之間的關係以無限組合方式連接數據庫表中的記錄。

結構化數據的缺點是更新表的結構可能是一個複雜的過程。 在開始使用數據庫之前，必須對錶結構進行大量思考。 這種類型的大數據不如半結構化數據靈活。

2.非結構化數據

據一些估計，80-90% 的數據是非結構化的。 ^{[ 1 ]}但究竟什麼是非結構化大數據？ 任何不屬於此處其他兩個類別的數據都被視為非結構化數據。

以數字方式存儲的一切都是數據。 非結構化數據包括文本、電子郵件、視頻、音頻、服務器日誌、網頁等等。 與可以以一致的方式查詢和搜索的結構化和半結構化數據不同，非結構化數據不遵循一致的數據模型。

這意味著不是簡單地使用查詢將此數據轉換為有用的信息，而是必須使用更複雜的過程，具體取決於數據源。 這就是機器學習、人工智能、自然語言處理和光學字符識別 (OCR) 可以派上用場的地方。

非結構化數據的一個示例是為費用報告存儲的掃描收據。 在它們的原始圖像格式中，數據基本上是無用的。 在這裡，OCR 軟件可以將圖像轉換為結構化數據，然後將其插入數據庫。

非結構化大數據的缺點是難以處理，每個數據源都需要定制處理器。 優勢包括僅存在多種類型的非結構化數據，因為從中收集的見解通常無法在任何其他數據源中找到。

3、半結構化數據

半結構化大數據介於結構化數據和非結構化數據之間。 半結構化數據的一個常見來源是 NoSQL 數據庫。 NoSQL 數據庫中的數據是有組織的，但它不是關係型的，也不遵循一致的模式。

在這裡，用戶通過記錄中的鍵訪問他們需要的數據。 雖然它看起來與上面結構化數據示例中的記錄相似，但它的表格格式並不一致。

相反，它是 JSON 格式，用於存儲和傳輸數據對象。 雖然數據庫中的這條記錄可能具有這組屬性，但這並不意味著其餘記錄將具有相同的結構。 下一條記錄可能缺少街道地址，但有郵政編碼。

存儲在 NoSQL 數據庫中的半結構化數據的一個優點是它非常靈活。 如果您需要向記錄添加更多數據，只需使用新鍵添加即可。 如果您需要數據保持一致，這也可能是一個缺點。

但是 NoSQL 數據並不是唯一的半結構化大數據類型。 XML 和 YAML 是應用程序用來傳輸和存儲數據的另外兩種靈活的數據格式。 電子郵件也可以被認為是半結構化數據，因為它的一部分可以被一致地解析，例如電子郵件地址、發送時間和 IP 地址，而正文是非結構化數據。

比較結構化、半結構化和非結構化數據

這張表更好地說明了這三種大數據之間的區別：

評估您的數據源以開始使用大數據

任何大數據項目的良好開端是清點您和您的企業可用的所有數據源，並按類型對它們進行分類。 這使您可以開始處理和編譯數據以提供有用的見解。