大量の情報があっても、業務遂行に有利というわけではありません。情報を活用するためには、ビッグデータから本当に必要な情報だけを抜き出す「データマイニング」の作業が必要です。データマイニングとは何か、また、実施手順について解説します。

データマイニングとは？わかりやすく解説

マイン（mine）には、「私のもの」という意味以外にも、「炭鉱」や「採掘する」という意味があります。データマイニングとは「データを採掘すること」で、炭鉱の中から石炭だけを採掘するのと同様に、莫大なデータの中から必要なデータだけを採掘することを指して用いられることが一般的です。

自社で蓄積したデータやインターネットを使って収集できるデータなど、私たちは扱い切れないほどの大量のデータに囲まれて生活しています。また、情報の中には有益なものだけでなく、無益なものや有害なもの、そして、偽物や見かけのものなどもあるでしょう。データマイニングを実施することで、目的に合致する有益なデータだけを採掘できます。

データマイニングを行う4つの手順

ある目的にとっては有益なデータでも、別の目的においては役に立たないことも珍しくありません。データマイニングをする前に、まずは何のためにデータマイニングを行うのか明らかにしておきましょう。目的を明確にしたうえでどのようなデータが必要かを探り、対象データを絞ってから以下の4つの手順でデータマイニングを進めていきます。

1.ツールを用いたデータの収集

データマイニングの最初の手順は、目的に合うデータを収集することです。この際、できるだけ多くのデータを集めることで、有益なデータが見つかりやすくなります。

様々な企業からデータマイニング用のツールが提供されているので、利用してデータを集めましょう。

2.データの整理

ツールで集めたデータを整理し、必要な情報だけを集めましょう。どんなに優秀なツールでデータを集めても、「ノイズ」と呼ばれる無益な情報や無関係な情報が含まれてしまいます。データを整理する際には「ノイズ」を取り除き、必要な情報だけを使って分析していきましょう。

3.パターンやグループの発見

データを整理し、ロジスティック回帰分析やクラスタリングなどの手法を用いて分析すると、情報内にパターンやグループが見えてくることがあります。詳しくは後述しますが、これらのパターンやグループから、今まで気付かなかったことに気付かされたり、思わぬ関係性を発見したりすることもあるでしょう。

4.フィードバック

分析から導き出されたパターンやグループから、何らかのルールや関係性が見つかることもあるでしょう。その場合には、発見したルールや関係性を他のデータにも当てはめ、一般論としていえるのか、また、傾向として考えることができるのか検証し、フィードバックしていきます。

データマイニングの実施手法

データマイニングに必要なデータの収集は、ツールを使えばおおよそ同じような成果を得られます。しかし、分析する手法によっては、得られる結果が異なることもあるので注意が必要です。データマイニングに用いられる分析手法を3つ紹介するので、それぞれ使い分けられるようにしておきましょう。

ロジスティック回帰分析

複数の変数から質的な確率を予測する方法として、ロジスティック回帰分析が用いられることがあります。まだ出ていない結果に対して、すでに出ている結果を用いて一般化する際に用いることも多いです。

ロジスティック回帰分析は、答えが二者択一であるときに用いやすい解析手法といえるでしょう。例えば「商品Aを購入した顧客は商品Bも購入する」のように「はい」か「いいえ」で答えられる仮定を検証する際に、ロジスティック回帰分析が用いられることがあります。

クラスタリング

クラスタリングはデータ内に見られる類似性に注目して解析する手法です。

例えば「商品Aを購入した顧客」と「商品Bを購入した顧客」をそれぞれグループ化し、グループごとにマーケティング手法を変えようと考えているとしましょう。クラスタリングを用いてグループごとに分析し、発見した類似性に基づいたマーケティングの方法を実施していきます。

決定木等を使った機械学習

データ内でカテゴリ別に分類し、各カテゴリが持つ属性を調べる際に決定木という手法を用いることも少なくありません。決定木とは木の枝状に記載される図で、特定の決定をするごとに二手以上に分かれていきます。

例えばあるコーヒーショップでCというドリンクを買った人の属性を調べるとしましょう。まずはおいしいと思ったのかについて「おいしい」「普通」「あまりおいしくない」の3つに分け、それぞれに対してドリンクのサイズ、ホットかコールドか、誰と来ていたのかなどを分類していきます。このように1つの要素から樹状にカテゴリを増やしていくことで、それぞれの属性の特徴が見えてくることがあるのです。

データマイニングでは決定木などのいわゆる古典的手法なども機械に学習させ、AIを用いて分析していきます。数万、数億通りの分類を検証することにより、特定のパターンや関連性を発見できることもあるでしょう。

データマイニングはどう活かす？事例も紹介

ビッグデータからノイズを取り除き、本当に役立つデータだけを抽出し、目的に合わせて分析するデータマイニングは、様々な業界で活用されています。どのような業界でデータマイニングが活用されているのか見ていきましょう。

保険業界

毎年新しい保険商品が誕生していますが、これらはいずれも人々のニーズに対して生まれています。しかし、ニーズの高い分野の保険商品であっても、保障内容や保険料の設定によっては契約する人が増えない可能性があるでしょう。

保険商品の契約者が少ないと運用資金が少なくなるため、保険料を高額に設定せざるを得なくなったり、保険金が低くなったり保険金受給の条件が厳しくなったりすることもあります。高額の保険料で薄い保障しか受け取れない保険商品に加入する人は多いとは言えませんから、ますます保険加入者は減ってしまうでしょう。

保険業界ではデータマイニングを活用して、効果的な保険料や保障内容を決定することがあります。また、他の保険会社の競合商品と比較し、どのような点をアピールすれば契約者が増えるのか分析することも少なくありません。

また、データマイニングの分析ノウハウをコンプライアンスやリスク管理にも応用し、顧客を維持するために必要な課題解決を図ることもあります。

IAG社の事例

オーストラリアの保険会社・IAG社では、約2,000万件もの顧客データを186個の変数で分析し、顧客維持や新商品開発に活用しています。膨大な量のデータの解析が必要ですが、データマイニングツールを使うと1分ほどで解析結果を出すことが可能です。

教育業界

学生たちにより手厚いサポートを提供するためにも、データマイニングが用いられています。各学生の学習進度をデータで一元管理し、個別に達成目標を定めて学習スケジュールを組んだり、今後の学生の成績を予測したりするケースも少なくありません。

学生たちから得たデータは、学生のパターンを把握する際にも役立つでしょう。例えばデータマイニングによって掴んだ関連性から特別な注意を必要とする学生のパターンを探り、学習についていけなくなるまで放置せずに早期介入を実施します。学習が苦手な学生も、早期介入によって苦手意識を持つ時間が短縮され、学習に対する意欲を維持しやすくなるでしょう。

小売業界

顧客から得たデータをデータマイニングすることで、企業と顧客との関係向上やキャンペーンの効果向上、新商品に対するニーズの探索などを実施することがあります。新たに情報を取得しなくても、すでに保有する顧客データから今までにない知見、例えば「50代以降の男性は甘いものを好むことが多いが、買いづらく感じることがある」などを得られることもあるでしょう。

データからより大きなニーズを探るだけでなく、特定のターゲットに絞ってニーズを探るケースも少なくありません。知りたい情報に合わせてノイズを消し去り、より効果的なマーケティング手法を決定していきます。

通信業界

通信業界もデータマイニングを活用し、消費者がどのようなサービスを求めているのか、また、適切な通信料はどの程度なのかを探ることがあります。顧客の買い替えパターンなどから将来的な行動を予測し、効果が高いと思われるタイミングで新サービスや新商品を発表するケースもあるでしょう。

通信業界は製造業や小売業のように原材料や原価がないため、料金設定はより一層難しくなります。何もないところから根拠ある料金を引き出すためにも、顧客が残したデータをデータマイニングで有効活用するのです。

製造業界

通信業界とは異なり、製造業では生産過剰や生産不足の問題が生じることがあります。顧客のニーズを読み間違って製品を製造しすぎてしまうと、仕入れに要した資金を回収できず、赤字になることがあるでしょう。反対に製造量が不足すると、せっかくの販売チャンスを逃すだけでなく、顧客がライバル企業に流れる恐れもあります。

顧客のニーズを正確に読むためにも、今まで蓄積したデータを用いてデータマイニングを実施している企業は少なくありません。また、設備の買い替え時期や整備時期などを予測したり、工場の稼働時間を決定したりする際にも、データマイニングを活用することがあります。

最後に

単にデータを収集するだけではデータを活用したことにはなりません。データを分析する目標とターゲットを定め、ノイズを消し去り、膨大なデータからパターンや関連性を見つけていきます。

データマイニングは様々な業界で活用できるので、すべての企業人にとって覚えておくべき手法といえるでしょう。顧客ニーズを正確に把握し、未来に向けた予測を立てるためにも、データマイニングを応用していきましょう。