予測を狂わせるノイズと重要なシグナルを見分けることの難しさがわかる『The Signal and the Noise』

著者:Nate Silver

ハードカバー: 544ページ

出版社: Penguin Press

ISBN-10: 1594204111

発売日: 2012/9/27

適正年齢:PG15(高校生以上)、政治や経済が理解できる年齢以上

難易度:中級レベル(高校英語をマスターしたレベル)、シンプルな文だが、分からない単語が出てくる可能性はあり。

ジャンル:ノンフィクション/ビジネス・時事・実用書

キーワード:データ解析/予測(経済、政治、野球、天候、疫病など)/統計・応用数学

2013年「これを読まずして年は越せないで賞」候補作

 



 

アメリカ在住の政治オタクにとって、著者Nate Silverは、過去2回の大統領選挙の結果をほぼ完璧に予測した(2008年は50州中49州で2012年は50州全部)クールなデータサイエンティストである。まだ31歳だった2009年に、タイム誌の「世界で最も影響力がある100人」に選ばれたほど彼の予測には定評がある。人気ブログのFiveThirtyEightは、2010年からニューヨーク・タイムズ紙のドメインで"re-launch"したが、今年の夏タイムズ紙からESPNに移った。

著者Silverは、2007〜8年の金融危機と引き金になったサブプライムローン、映画『マネーボール』でお馴染みのセイバーメトリクスを使ったチーム編成、インフルエンザとエイズといった疫病、天気予報と地震予報などを例に挙げ、それぞれの分野で、「なぜ予測が間違うのか」、「どうすれば予測の間違いを少なくすることができるのか」を本書で詳しく語っている。


Silverが何度も繰り返して指摘するのが、予測を狂わせるThe Noiseである。

データサイエンティストは、データの中から意味あるシグナルを見出して未来を予測する。本当に重要なものがThe Signalなのだが、それと予測を狂わすThe Noiseとを見分けるのは難しい。

データは同じでも、判断するのは人間だ。その人間のwishful thinking(希望的観測)や、政治経済的な立場などが判断を狂わせる。Silverが言うように、偶然形成された空の雲の形に意味を見出してしまったりするのだ。

Silverの予測の的中率が高いのは、このノイズをなるべく取り去る努力をしているからである。彼のクールな視点での分析は、統計やデータが苦手な人でも(専門的な説明は理解できないかもしれないが)楽しめる。

「これは面白い!」と感じた部分は多いが、predictionとforecastの差、overfitting(シグナルではなくノイズで予測を立てている)、correlationとcausationの違い、self-fulfilling predictionとself-canceling predictionなどは、これまでデータに少しでも触れたことがある人なら「分かる!」と頷くはずだ。

政治オタクの私は、テレビに出てくる政治評論家や解説者の予想がことごとく外れるのを知っている。そのくせ、ちっとも責任を取らないことも。Silverはそれにも触れている。素人より信用ならない予測をする評論家たちが職を失わないのは、データを慎重に分析してより間違いが少ない予測をする人よりも、適当に派手なことを言う人のほうがテレビ受けするからである。

テレビの政治番組に登場していた頃からSilverのファンだった私は、今年の夏本人に会えて興奮してしまった。

想像したとおりに、シャイで、シャープで、クールなギークだった。

 

558824_10200165085582182_83861464_n - Version 2

ファンガールしている私。

 

Leave a Reply