ビッグデータの種類とは?

ビッグ データの種類を理解することで、大規模なデータ セットを処理するための準備を整えることができます

AI 、機械学習、ビジネス分析の進歩の多くは、ビッグ データによって可能になります。 データは、自動車の自動運転を実現するアルゴリズムを強化し、次に見るべき映画を提案し、収益を増やす方法をビジネス リーダーに伝えます。

しかし、すべてのデータが同じように作成されるわけではありません。

ビジネスとその顧客によって生成されたデータを効果的に分類、整理、および分析するには、ビジネス アナリストまたはデータ サイエンティストは、使用しているデータの種類を知る必要があります。

ビッグデータの特徴と主な種類について見ていきましょう。

ビッグデータの特徴: 5 つの V

ビッグデータは多くの種類のデータに適用される一般的な用語ですが、ビッグデータを定義するために一般的に使用される 5 つの特性があります (5 つの V またはビッグデータの機能としても知られています)。

1.ボリューム

ビッグデータはビッグです。 ビッグの定義は相対的なものであり、その時点で利用可能なテクノロジーによって変化します。 たとえば、かつては 3 ギガバイトのハード ドライブが巨大であると考えられていましたが、現在ではテラバイトのストレージを備えたラップトップが標準になっています。

2.速度

ビッグデータはすぐに生成されます。 IoT デバイスのセンサーは、1 秒間に複数回メッセージを送信します。 ウェブサイト分析は、訪問者が行うすべてのマウスの動きを監視して、ブラウジングの習慣に関する洞察を得ます。 多くの場合、このデータを使用するアプリケーションは、可能な限りリアルタイムに近いデータを処理する必要があります。

3.バラエティ

多様性がこの記事の主なトピックです (続きを読み続けてください!)。 ビッグデータにはかなりの多様性があります。 データを収集するすべての組織は、複数のソースから複数の形式でデータを収集しています。 このデータを有用な情報に変えるには、さまざまなソースからのデータを組み合わせる必要があります。

4. 真実性

正確性は、データの品質を定義する特性です。 収集されたすべてのデータが完全ではありません。 不正確であるか、破損したデータ ポイントが含まれている可能性があります。 乱雑なビッグデータは、益よりも害を及ぼす可能性があります。 正確な洞察を提供するために、データをクリーニングまたは破棄する必要がある場合があります。

5.価値

企業が大量のデータを保有しているからといって、すべてのデータが役立つわけではありません。 ビッグデータのもう 1 つの特徴は、洞察という形で価値を提供することです。

ビッグデータの主な 3 つのタイプ

さまざまなタイプのビッグ データに対して無数のカテゴリを作成できますが、ビッグ データを構造化、非構造化、半構造化の 3 つの主要なタイプに分類する方がはるかに簡単です。

1. 構造化データ

構造化ビッグ データは、固定スキーマに格納されたデータです。 最も一般的には、これは、リレーショナル データベース管理システムまたは RDBMS に格納されていることを意味します。 このデータはテーブルに格納され、各レコードには固定のプロパティ セットがあり、各プロパティには固定のデータ型があります。

1 つの例は、データベース内のユーザー レコードです。

このテーブルのすべてのレコードは同じ構造を持ち、各プロパティには特定のタイプがあります。 たとえば、State 列は 2 つの大文字に制限されており、ID 列と ZIP code 列は整数に制限されています。 この構造に適合しないレコードをデータベースに挿入しようとすると、許可されず、エラーが表示されます。

構造化されたビッグ データは通常、リレーショナルです。 これは、上記のユーザー テーブルなどのレコードを別のテーブルのレコードにリンクできることを意味します。 user テーブルがショッピング カート用で、各ユーザーが注文を持っているとします。

ID	ユーザーID	アイテム	合計
1	1	カップ	2.00
2	2	丼鉢	4.00
3	2	皿	3.00
4	4	スプーン	1.00

上記の注文テーブルの User_ID プロパティは、注文をユーザー テーブルの ID にリンクします。 Sara には 2 つの注文があり、Sam はまだ注文していないことがわかります。

このタイプの静的構造により、データの一貫性が保たれ、入力、クエリ、整理が容易になります。 このようなデータベース テーブルのクエリに使用される言語は、SQL (Structured Query Language) です。 SQL を使用すると、開発者は、関係に基づいて無限の組み合わせでデータベース テーブルのレコードを結合するクエリを作成できます。

構造化データの欠点は、テーブルの構造を更新するプロセスが複雑になる可能性があることです。 データベースの使用を開始する前に、テーブル構造について十分に検討する必要があります。 このタイプのビッグ データは、半構造化データほど柔軟ではありません。

2. 非構造化データ

一部の推定によると、データの 80 ～ 90% は構造化されていません。 ^{[ 1 ]}しかし、非構造化ビッグデータとは一体何なのでしょうか? ここでの他の 2 つのカテゴリに当てはまらないデータは、非構造化としてカウントされます。

デジタルに保存されているものはすべてデータです。 非構造化データには、テキスト、電子メール、ビデオ、オーディオ、サーバー ログ、Web ページなどが含まれます。 一貫した方法でクエリおよび検索できる構造化データや半構造化データとは異なり、非構造化データは一貫したデータ モデルに従いません。

つまり、単純にクエリを使用してこのデータを有用な情報に変換するのではなく、データ ソースによっては、より複雑なプロセスを使用する必要があります。 ここで、機械学習、人工知能、自然言語処理、および光学式文字認識 (OCR) が役立ちます。

非構造化データの一例は、経費報告書用に保存されるスキャンされた領収書です。 ネイティブの画像形式では、データは本質的に役に立ちません。 ここでは、OCR ソフトウェアを使用して画像を構造化データに変換し、データベースに挿入することができます。

非構造化ビッグ データの欠点は、処理が難しく、データ ソースごとにカスタム プロセッサが必要なことです。 利点には、多くの種類の非構造化データが存在するだけであることが含まれます。これは、そこから収集された洞察が他のデータ ソースでは見つからないことが多いためです。

3. 半構造化データ

半構造化ビッグ データは、構造化データと非構造化データの中間に位置します。 半構造化データの一般的なソースは NoSQL データベースです。 NoSQL データベースのデータは整理されていますが、リレーショナルではなく、一貫したスキーマに従っていません。

ここで、ユーザーはレコード内のキーによって必要なデータにアクセスします。 上記の構造化データの例のレコードに似ていますが、一貫したテーブル形式ではありません。

代わりに、データ オブジェクトの保存と送信に使用される JSON 形式になっています。 データベース内のこの 1 つのレコードがこの一連の属性を持つ場合がありますが、残りのレコードが同じ構造を持つとは限りません。 次のレコードには住所がなく、代わりに郵便番号が含まれている場合があります。

NoSQL データベースに格納された半構造化データの利点は、非常に柔軟であることです。 レコードにさらにデータを追加する必要がある場合は、新しいキーで追加するだけです。 これは、データの一貫性が必要な場合にも不利になる可能性があります。

しかし、NoSQL データだけが半構造化ビッグデータではありません。 XML と YAML は、アプリケーションがデータの転送と保存に使用する 2 つの柔軟なデータ形式です。 電子メールは、電子メール アドレス、送信時刻、IP アドレスなどの一部を一貫して解析できるため、半構造化データと見なすこともできますが、本文は非構造化データです。

構造化データ、半構造化データ、非構造化データの比較

この表は、これら 3 つのタイプのビッグ データの違いをよりよく示しています。

データ ソースを評価してビッグ データの使用を開始する

ビッグ データ プロジェクトの適切な最初のステップは、自分と自分のビジネスで利用できるすべてのデータ ソースのインベントリを作成し、それらをタイプ別に分類することです。 これにより、データの処理とコンパイルを開始して、有用な洞察を得ることができます。