始めに　ビッグデータとは

コンピュータとビッグデータ

　パンチカードシステムは、1890年のアメリカにおける国勢調査以後発展し、大量データの解析には威力を発揮しました。 しかし、同じカードを何度も使用することもあり、人手による操作が必要でした。

　しかし、1960年代コンピュータが普及し始めると、最初にカードにパンチされたデータを入力すると、その後同じデータのカード入力が必要ないことや、プログラミングによる効率的な集計や柔軟な作表が可能となったことにより、ビッグデータの解析にコンピュータが使用されるようになりました。 日本でも、1961年に総理府統計局に国勢調査の集計用としてコンピュータが導入されました。

　1970～1980年代には、民間も含めてコンピュータが本格的に導入し始め、多くの業務でコンピュータが使われ始めました。 それとともに業務で使われるデータも増え始め、総合的にデータを管理するデータベース（DBMS）が出てきました。

　BDMSでは、社内業務の目的に沿って構築されてきましたが、企業の意思決定には不十分なところがありました。 そのため、1990～2000年代になると企業の様々なデータを一か所に集めるデータウエアハウスと呼ばれる概念が出現し、データマイニングやOLAPとともに企業の意思決定に使われるようになりました。 これらDBMSやデータウエアハウスで蓄積されたデータもビックデータの一つです。

　1960～2000年には、コンピュータの高性能化と低価格化が進むとともにデータを蓄積するハードディスクの高密度化が進み、データウエアハウスのような大量データの蓄積が一般企業でも可能になりました。 また、ソフトウェアの技術も進み、種々のデータ解析も可能となりました。 しかし、データはある限られた範囲内でしか収集しておらず、データ量については飛躍的な増大には至ってはいません。

　ところが、2000年以後インターネットの普及に伴い、個人の様々なデータがネットワークを流れるようになり、蓄積されるデータ量も飛躍的に増大することになりました。 また、企業においても世の中の動向をつかむためインターネットを利用するようになり、データ量の飛躍的増大に拍車をかけることとなりました。

　このような多種多様で膨大なデータを処理する技術が発展し、ハードウェアでは、コンピュータの一層の高性能化、特にメモリーのインメモリ化があり、ソフトウェアでは、BIなどの各種分析ツール普及があります。今後は、更に高速で使い易いツールの普及が見込まれます。
　しかし、ビッグデータを使いこなしている企業はまだまだ少ないのが実情です。これは「どうしてか」という点については、次の節で考えてみたいと思います。

※ビッグデータにまつわる主な出来事
紀元前27年	ローマ帝国が人口や土地を調査 ｢人口ルネサンス｣
1890年	アメリカでパンチカードによる国勢調査を実施 7年かかっていた集計が18ケ月で完了
1920年	日本でもパンチカードによる国勢調査を実施
1961年	日本で国勢調査集計用としてコンピュータ導入
1970年～	民間を含めたコンピュータの本格導入 データベース(DBMS)の登場
1990年～	データウエアハウス概念の出現 データマイニングやOLAPによる分析
2000年～	インターネットの普及と利活用 データ量が飛躍的に増大

データサイエンスの必要性

　データの利活用は、組織にとって良い結果をもたらすだけではなく、組織を利用する人にとっても良い結果をもたらすことは、前節の事例からも理解できたかと思います。では、データの利活用をどの様に実現するかというと、


ことで実現することができます。

　しかし、この行動が正しいかどうかは検証する必要があり、そのために再度①～③を実施します。このサイクルを繰り返すことにより、効果を高めることが可能になります。

　では①～③を実施するためには、どの様なスキルが必要なのかを考えてみたいと思います。

　まず①の「ある目的を達成するためのデータを集め」において「ある目的」とありますが、この目的は企業などの課題を明確にし、その課題を解決することが、「ある目的」であるといえます。この様に、企業を取り巻く環境を理解し課題を見つけ整理する「ビジネス力」が必要です。

　次に、②の「集められたデータを目的に沿って分析を行う」では、集められたデータを分析するスキルも必要になります。データ分析を行うためには、情報処理や統計学などの情報科学系の知識を理解し使いこなせる「データサイエンス力」が必要です。

　更に、③の「その結果に基づいた行動を行う」においては、データサイエンス力を実際のビジネスで使えるようにする「データエンジニアリング力」が必要となります。

　この様なスキルを持った技術者は「データサイエンティスト」と呼ばれ、現在広く求められています。
　私たちが①～③を行おうとした時、身近にデータサイエンティストがいれば問題ありませんが、データ分析に精通したデータサイエンティストがいないことがほとんどだと思われます。そこでデータサイエンティストを育てていく必要があります。

　データサイエンティストを育てていくためには、3つの力を養成する必要がありますが、「ビジネス力」については、組織に所属し、ある程度活動して入れば、それなりに身についていくと思われます。

　「データサイエンス力」についても、パソコンを使いこなせるなら情報処理についてはある程度の力があると思われます。統計学については、少々勉強が必要ですが、いきなりすべてを理解するのは難しいので、最初にExcelのピボットテーブルを利用して行うことができる統計処理をマスターし、理解できるようにするとよいでしょう。

　最後に「データエンジニアリング力」ですが、これは実際に分析を行いながら身に着けていくのが一番良い方法です。具体的には、実際の課題を解決するための目的を設定し、そのためのデータ収集を行い、実際の分析を単純集計・クロス集計をExcelのピボットテーブルを使用して繰り返し行うことにより問題点を見つけ出すことを行えばよいでしょう。これについては次回、詳しく説明いたします。