いよいよ今週末の28日(金)は寺子屋の新コンテンツ登場です!!!
ちなみに5月12日(金)に追加開催をします!
昨年から告知だけはしていたディープラーニング(Deep Learning)に迫ります。ディープラーニングという現代の魔法についてはさんざんメディアでも語られていますので、我々はそのコアのコアに迫りましょう。その魔法の呪文であるところの数学に迫ります。
もちろん数学自体はシンプルなのですが、そのディープラーニングの数学を手触りをもって理解し、ひるがえってディープラーニングの全体像を眺めることで印象が変わります。
我々のひとつの作業仮説として繰り返し取り上げるのは、パスカルの三角形です。
パスカルの三角形を無限回繰り返すと、フラクタル構造となります。正確には、偶数と奇数で色分けしたりすれば、フラクタルとなります。
シェルピンスキーのギャスケットですね。
*拡大していっても同じ構造が繰り返されます。
*フラクタル自身はどこまで拡大しても、複雑な図形が出て来るものです。その中でも自己相似はわかりやすい例です。
このパスカルの三角形が巨大な巨大な建造物として(たとえばピラミッドのように)存在したとして(それはもちろん情報空間でも)、その裾野から見上げたとき、もしくは裾野の数列を眺めたときに、非常に不思議な感慨にとらわれると思います。この複雑でしかも秩序だった数列は誰がもたらしたのだろう、、、と。
すべてのアルゴリズムが持つ神秘がここに端的にあらわれています。
アルゴリズムはその結果から類推しようとすると、神秘や不思議に満ちているのです。
しかしアルゴリズムのコアからスタートするとあまりの単純さに驚かされます。
パスカルの三角形もシンプルです。
端はすべて1であり、前の階層の最も近い2つの数の和が自分になるような計算の繰り返しです。
これは一度、ナプキンの裏やチラシの裏にでもサラサラと書き下してみるといいです。
知性を使うと思えない非常に単純な足し算を繰り返すことで、二項係数が次々と生み出され、三角数が斜めに出現します。
二項係数は本来は掛け算を繰り返して出て来る係数ですが、それが単純な足し算によって出てきます(ここでも足し算と掛け算は本質的には同じであることを思い出します)。
このパスカルの三角形の感触が論理の鎖の感触であり、アルゴリズムやシステムの感触です。
猛烈に単純なことを繰り返すことで、世にも奇妙な複雑さをもたらすのです。
(単純なことの繰り返しが異なる結果を生むのがカオス理論です。厳密に言えば、誤差でしかなく、計算に響かなそうなわずかな差異が増幅されて、大きな違いになるのがカオス理論です。これも単純な反復計算が奇妙な複雑さをもたらす例のひとつです)。
Deep Learningも同じです。
計算の中心概念はかなりシンプルです。
そしてその中心概念から、なぜ囲碁の名人であるイ・セドルに勝てるのかまでに大きな隔たりがあります。その間を直感的に産めましょう。
囲碁は将棋やチェスと同じく完全情報ゲームです。
運やランダム性が作用せず、純粋に計算のゲームです。
そしてその計算は神様ですらなかなか難しいオーダーのものです。物理次元ではどれだけ資源を投入しても宇宙を投入しても不可能なオーダーです。
古い物語にべき乗の恐ろしさを示すものがあります。
とても小さな数でも二倍二倍と増やしていくと、一気に巨大な数になるというものです。
とある王様が「なんでも褒美を取らす」と言ったところ、チェス盤のマス目に一粒、次のマス目にその2倍、その次のマス目にその2倍の米粒が欲しいと言った賢人がいました。
これは一見すると、あまりにゆるやかに数が増えるので、64マス分の米粒というのは謙虚な褒美に見えます。しかし、2の63乗個の米粒というのは、チェス盤の上に乗らないどころか、国中の米俵を集めても不可能なレベルです。
囲碁は10の365乗のパターンがあると言われます。
これがどれくらい大きいかはちょっと想像を絶します。
たとえば、観測可能な銀河の数が10の10乗だそうです(以下、Wikipedia参照です。この一覧を眺めているだけで萌えます)
それに対し、人間の脳のニューロンの数はそれよりも10倍多い、10の11乗です。
銀河系の星の推計と同じくらいです。
人体の細胞の数が10の13乗、微生物はもっと多くて10の15乗です。
観測可能な宇宙の星の数が10の23乗
宇宙にある観測可能な基本粒子の数が10の80乗と言われています。
相当に大きな数の気がしますが、、、
囲碁のパターンは10の365乗です。
もう桁違いです。
ですから、そもそもすべてを検索しつくすなど不可能です。
でも、方法論自体はすべてを検索しつくすのと同じアプローチを取ります。
マルバツゲームや五目並べ、オセロ(Reversi)と同じです。
(ゲーム木を書いていきます!!)
*もっとも小さな系ということで(いや小さいので言えば、二目並べがありますが、、、)三目並べからやってみましょう!!
というわけで、今回は極小から極大まで自在にワープしながら、楽しく学んでいきましょう!!
キーワードとしては、まずはフレーム問題を取り上げます。
フレーム問題というスコトーマ、そしてフレーム問題と深く関わる計算量の爆発。
我々の理性と情動について、無限の取扱説明書(階層性問題の数学的アプローチ)、マクスウェルの魔と生命現象(有限メモリの生命はマクスウェルの魔であるということ)などについて、復習と総覧が可能になります。
余裕があれば、ブラック・スワンやフラクタル、カオス理論などにも触れつつ、世界の認識、脳というコンピューターの認識を変えていきましょう。
*久々の登場で緊張気味のブラック・スワン君。
その上で、ランダム性をなぜ意図的に高める必要があるのか(たとえばボナンザは初手をランダムに決めます)、なぜ忘れることが脳にとって重要なのか(過学習を防ぐことと天才少年がなぜ凡才になるのか)、逆境がなぜ人を成長させるのかが、数学的に理解できます(おそらくw)
*初手3八金はプロの公式戦では初登場。アマチュアでもほとんど出てこないような手。
でも佐藤天彦名人(叡王)はこの手は予測していたとおっしゃっていました。そして指されたら嫌な手だったそうです。
*なぜボナンザはこの手をさしたかと言えば、ボナンザの指運とも言うべきランダム性によってです。指すまでは開発者ですら、その手を知ることはできないという意味で(いやどの手も知ることはできませんが)、シュレディンガーの猫のようです(違うか)。少なくともブラックボックスの中身が完全にブラックになったのです。
数学的に形式化されない物語的な理解は、ゲシュタルトをつかむのにはいいのですが、力をもった知性にはなりえません。苦しくても形式化は通るべきです。
というわけで、盛りだくさんで、かなり面白いので、是非お楽しみに!!!
【寺子屋新コンテンツ『現代の魔術ディープラーニングの数学』】
【日時】 4月28日(金) 19:00~21:00(21:30まで質疑応答!)
[緊急追加開催決定!!] 5月12日(金) 19:00~21:00(21:30まで質疑応答!)
【場所】 東京・四ツ谷の「まといのば」のセミナールーム
【受講料】 3万円(銀行振込、もしくはPayPal決済)
【受講資格】 ブログ読者
【持ち物】 筆記用具と熱い情熱
【お申し込み】お申し込みはこちらから。
↧
【募集開始】無限の可能性があるって、希望なの絶望なの?AIは回帰分析の夢をみるのか?
↧