ビッグデータを活用するためには、収集・蓄積したデータを適切に解析し、サービスの場面にフィードバックして、改善やサジェスト（提案）につなげていく必要があります。特に新しい社会変革には、ビッグデータとICTやAI、IoTが連動して、日常の中でさまざまな利活用が期待されています。

これからの時代に重要なビッグデータの解析について知っていきましょう。

ビッグデータの解析に必要な「収集」「蓄積」「分析」

ビッグデータは、任意のデータを「収集」し、サーバーに「蓄積」、必要なデータを抽出して「分析」するという一連のフローを経て、はじめて活用できるデータになります。ただし、「分析」まででは、単純に数字を集計しただけになってしまいますので、分析結果をもとに解析することでサービスの現場にフィードバックしていくことができます。

データの収集

データ収集には、官公庁や団体が調査・収集した統計データや各種アンケートデータがあります。ほかにIoT機器から収集されるセンサーデータ、SNSなどの属性データなどを定期的または任意のタイミングで各団体や企業が収集します。

データの蓄積

収集されたデータはデータベースやクラウド上に蓄積されます。近年では大容量データを高速処理、分散処理できるHadoopという技術によってさらに収集・蓄積が効率化されています。

データ分析

ビッグデータの活用には、収集・蓄積したデータを分析が必要です。分析の前にはデータクレンジングをかけて、不要な要素を取り除いたきれいなデータを分析していきます。

IoTやICT、AIの進化によって、収集・蓄積・分析までの作業はすでに自動化されている場面もあります。しかし、分析結果に対してどこが課題で何をするべきか、のような結論を論理的に導き出す作業は、まだまだ人間の経験や知識が必要とされる部分です。

将来的にはAIを通してビッグデータが解析され、スピーディーにサービス現場へのフィードバックをできるように研究開発が進められています。

ビッグデータの種類と特性

ここでビッグデータのデータ種類と特性について知っていきましょう。

ビッグデータの種類

データには2種類のデータ構造があります。ひとつは、エクセルやCSVファイルなどの列や行で分類できて、顧客データや在庫データのようにわかりやすく定義できる構造化データがあります。

もうひとつはフリーテキストを含んだ電子メールや会社で作成するドキュメント類、画像や動画ファイルなど、データ自体が意味を持っていて、データベースでの扱いや分類が難しい非構造化データがあります。

ビッグデータで蓄積されるデータには、構造化・非構造化のどちらの種類のデータも収集されます。仕事やコミュニケーションの中心がデジタルやモバイルデバイスになってきた昨今では、ビッグデータが収集するデータの種類はフリーワードでの検索やSNS上での自由な画像や動画投稿など多くの非構造化データが多くなっています。

ビッグデータの特性

ビッグデータが持っている5つの特性は、多様性（Variety）、高速（Velocity）、大量・膨大（Volume）、信ぴょう性（Veracity）や価値（Value）です。非構造化データのように多種多様なデータを蓄積していること、大量のデータを瞬時にリアルタイムで高速に処理できること、世界中から多様で大量なデータを収集・蓄積していること、データの信ぴょう性が高いこと、新しい価値を生み出すデータであこと、これら5つの性質を備えたデータがビッグデータとして定義されます。

ビッグデータを活用していくうえでデータサンプル数が多いほど数字の確度が高まるので量は大切ですが、重要なのはデータの信ぴょう性です。解析された結果が間違っていれば利用するユーザーに不利益が生じることになるからです。将来的にビッグデータは新しい時代の重要な社会インフラとなってくるため、より信頼度の高い運用とセキュリティを保っていく必要があるでしょう。

ビッグデータの分析手法

ビッグデータは、蓄積された膨大なデータを最適な手法で分析することではじめて意味を持ちます。ビッグデータを活用していくために重要なフローが分析で、分析結果をもとに次のアクションへとつなげていきます。データ分析手法をいくつかみていきましょう。

クロス集計

質問項目を2つ以上掛け合わせて集計・分析する手法です。アンケートの集計結果を表す際によく用いられる手法で、年齢や性別ごとの行と、回答パターンの列の掛け合わせたものです。どの年代や性別が質問項目に対して一番関心があるのかを知る際におもに使用されます。

ロジスティック回帰分析

すでに集計された予測の結果が2つ以上ある、または割合のデータだった場合に、その中で判明していない結果を予測するために用いられます。例えば、ランディングページからのキャンペーン反応率や営業のアポイント回数と受注率を調べる際に用いられます。

アソシエーション分析

関連がなさそうな事象の中からルールを見つけ、データ同士に相関関係があるかを調べるために用いられるデータマイニングの代表的な手法です。「Aだった場合、Bであろう」といった関連性を調べる際に使用されます。

マーケットバスケット分析

アソシエーション分析から派生した手法で、ある商品の購買される際に、一緒に購入されやすい商品を明らかにするデータの分析手法です。

ディシジョンツリー分析

条件分岐によってグループ分けをしていく手法で、決定木分析とも言われます。ひとつの要素から予測される分岐と、それに対する結果を調べていきます。

クラスター分析

別々のデータの中で共通項を集め、集落（クラスター）を作って分類する手法です。散布図を使って相関関係の強弱を調べる際に用いられます。

これ以外にも、異なるデータ同士の間の共通因子を見つけ出し因子分析や商品やユーザーに対して重要度別にランク分けをするABC分析など、さまざまな分析方法があります。

データを解析して活用につなげる

ビッグデータの分析は、あくまでも収集したデータを見やすく整理したものでしかありません。データ解析の作業は、分析された数字の裏付けを知ることと、その結果をもとに何をしていくかを考えていく作業です。

例えば、ABテストといった有名なマーケティング手法では、キャンペーンサイトをAパターンとBパターンに作り分け、別々の広告リンクからの流入数を計測して、パターンごとにクロス集計を用いてどの属性がどちらのパターンを好んだかを集計します。導き出された結果の理由を検証し、仮説を立てて次に行うアクションプランを作成していきます。

統計データなどをもとにした単純なフィードバックを返すだけであれば現状のAIでも充分にレスポンスを返すことができます。「分析結果に対してどのような施策を行うべきか」のように結果から行うアクションが複雑で多岐に渡る場合には、まだまだ人間の思考が必要になっています。

AIがビッグデータを解析してくれる未来

現在のデータ解析には、まだまだ人間の作業が重要ですが、将来的には収集や分析、仮説立てからフィードバックまでのナレッジ（知識）が多く溜まっていけば、ビッグデータの解析はすべてAIが行ってくれます。さらに能力も速度も進化したAIであれば、自身で知見を溜めていき新しい解析パターンを自ら思考して増やしていくオートメーションなフローも期待されています。

ビッグデータとAI解析を活用することで、企業にとって有益な情報を得られるようになります。ビッグデータはビジネスチャンス獲得に必要なツールとなるでしょう。

Industlinkに登録されているビッグデータのソリューションや企業はこちらから

◆企業一覧
◆ソリューション一覧
◆無料で学べるITセミナー動画
Industlinkの姉妹サイトIndustlink Collegeで先端IT利活用促進事業で開催したセミナー動画が無料で観れます！この機会に、Industlink Collegeへ登録しませんか？
※会員登録、視聴はすべて無料です。
Industlink Collegeはこちら