人工 知能 は 人間 を 超える か Chapter05(1)

ディープラーニング が 新 時代 を 切り開く

２０１２ 年 、人工 知能 研究 の 世界 に 衝撃 が 走った 。

世界 的な 画像 認識 の コンペティション 「 ＩＬＳＶＲＣ （ ImagenetLargeScaleVisualRecognitionChallenge ）」で 、東京大学 、オックスフォード大学 、独 イェーナ大学 、ゼロックス など 名だたる 研究機関 が 開発した 人工知能 を 抑えて 、初参加の カナダの トロント大学 が 開発した SuperVision が 圧倒的な 勝利を 飾ったのだ 。

この コンペ で は 、ある 画像 に 写って いる のが ヨット な のか 、花 な のか 、動物 な のか 、ネコ な のか を コンピュータ が 自動 で 当てる タスク が 課され 、その 正解率 の 高さ （実際 は エラー率 の 低さ ）を 競い合う 。

１０００万 枚 の 画像 データ から 機械 学習 で 学習 し 、15万 枚 の 画像 を 使って テスト を して 、正解 率 を 測定 する 。

それ まで 、画像 認識 と いう タスク で 機械 学習 を 用いる こと は 常識 であった が 、機械 学習 の 際 に 用いる 特徴量 の 設計 は 、人間 の 仕事 であった 。

各 大学 ・研究 機関 は コンマ 何 ％ の 精度 で エラー 率 を 下げる ために しのぎ を 削り 、その ために 、画像 の 中 の こういう 特徴 に 注目 する と エラー 率 が 下がる ので は ない か と 試行錯誤 を 重ねてきた 。

機械 学習 と いっても 、特徴 量 の 設計 は 、長年 の 知識 と 経験 が もの を いう 職人 技 である 。

職人 技 に より 、機械 学習 の アルゴリズム と 特徴量 の 設計 が 少しずつ 進み 、１ 年 かけて ようやく １％ エラー 率 が 下がる という 世界 だ 。 その 年 も エラー 率 26％ 台 の 攻防 の はずだった （図 20 を 見る と 、１ 位 、２ 位 を 独占 した SuperVision を 除けば 、エラー 率 26％ 台 で いくつ も の チーム が 並んでいる の が わかる ）。

ちなみに 、自然 言語 処理 でも 検索 でも 、人工 知能 技術 を 用いて 最後に コンマ 何 ％ という 性能 の 勝負 の 段階 に なる と 、必ず この 職人 技 （あるいは ヒューリスティック と 呼ばれる ）の かたまり に なってくる 。

研究 として は あまり 面白く ない ところ だ 。 実は 、Ｓｉｒｉのような「音声対話システム」も、ワトソンのような「質問応答システム」も、ほとんどこの段階に入っていて、研究者からすると、「やってもいいけど大変なわりにあまり未来がない」ように思える世界である。 その 世界 で 少しずつ 性能 を 上げて いく に は 、気 の 遠く なる ような 努力 が 要求 される 。 文字通り 「桁違い 」の 勝利 だ 。 これ に は 長年 、画像 認識 の 研究 を 進めて きた ほか の 研究者 も 度肝 を 抜かれた 。

何 が トロント 大学 に 勝利 を もたらした の か 。

その 勝因 は 同 大学 教授 ジェフリー ・ヒントン 氏 が 中心 に なって 開発 した 新しい 機械 学習 の 方法 「ディープラーニング （深層 学習 ）」だった 。

ディープラーニング の 研究 自体 は ２００６ 年 ごろ から 始まっている が 、それまで 画像 認識 の 各 研究者 が 培ってきた ノウハウ と は まったく 別の ところ から 参入して 、いきなり トップ に 躍り出た のだ から 、その 衝撃 たる や 、大変な もの だった 。

画像 認識 の 研究者 の 中 に は 、「もう 研究者 として やっていけない ので は ない か 」と 危機感 を 覚えた 人 も 少なくない と 聞いている 。

ディープラーニング は 、データ を もと に 、コンピュータ が 自ら 特徴量 を つくり 出す 。

人間 が 特徴 量 を 設計 する ので は なく 、コンピュータ が 自ら 高次 の 特徴 量 を 獲得 し 、それ を もと に 画像 を 分類 できる ように なる （＊注 35 ）。 ディープラーニング に よって 、これまで 人間 が 介在 し なければ ならなかった 領域 に 、ついに 人工 知能 が 一歩 踏み込んだ のだ 。

私 は 、ディープラーニング を 「人工 知能 研究 に おける 50 年 来 の ブレークスルー 」と 言っている 。

もう 少し 正確 を 期す なら 、第 ２ 、第 ３ 、そして 第 ４ 章 で 見てきた ような 、人工 知能 の 主要な 成果 は ほとんど 人工 知能 の 黎明期 、すなわち １９５６年からの最初の10年ないしは20年の間にできている。 その後 いくつか の 大きな 発明 は あった ものの 、どちらかといえば 、「マイナー チェンジ 」であった 。

しかし 、 ディープラーニング に 代表 される 「 特徴 表現 学習 」 は 、 黎明 期 の 革新的 な 発明 ・ 発見 に 匹敵 する ような 大 発明 だ 。

特徴 表現 を コンピュータ が 自ら つくり出す こと は 、それ くらい 大きな 飛躍 な のである 。 なお 、通常 、ディープラーニング は 「表現 学習 （representationlearning）」の ひとつ と される が 、本書 で は 「表現 」と いう 言葉 を わかりやすく する ため 、「特徴 表現 学習 」と いう 呼び方 を する （＊注 36 ）。

と は いえ 、ディープラーニング に よって 人工 知能 が 実現 する という の は 短絡的 すぎる し 、いま の ディープラーニング は 足り ない ところ だらけ だ 。

しかし 、ディープラーニング が 「単なる 一 手法 」だ と 考える の は 、これ また 技術 の 可能性 を 見誤っている 。 ディープラーニング は 、人工 知能 の 分野 で これ まで 解け なかった 「特徴 表現 を コンピュータ 自ら が 獲得 する 」という 問題 に ひと つ の 解 を 提示 した 。 つまり 、大きな 壁 に ひとつ の 穴 を 穿った と いう こと である 。 これ が アリ の 一 穴 と なり 、ここ から 連鎖的に ブレークスルー が 起こって いく か どうか が 、今後 注目 すべき 点 である 。

２０１２ 年 の 衝撃的な コンペティション 以来 、ディープラーニング に 関する トピック は ちょっと した バブル 状態 に なっている こと は 序章 で 述べた 。

巨額 の キャッシュ フロー を 抱えた ネット 界 の 巨人 たち が こぞって 人工 知能 に 巨額の 投資 を 開始 している 。 世界 中 の 熱い 視線 が 注がれる ディープラーニング と は 何 か 。 この 章 で は 、それ を くわしく 紹介 し たい 。 前 章 で ３ 層 の ニューラルネットワーク を 紹介 した が 、それ を さらに 何 層 に も 深く （ディープ に ）重ねて いく 。

人間 の 脳 は 何 層 に も 重なった 構造 を して おり 、ニューラルネットワーク の 研究 の 初期 の ころ から 、深い 層 の ニューラルネットワーク を つくる こと は 当然 の 試み として 行われてきた 。

ところが 、どう やっても うまく いか なかった 。

３層 の ニューラルネットワーク だ と うまく いく のである から 、４層 、５層 と すれば もっと よく なる はずである （実際 、隠れ層 の ニューロン の 数 を 一定 と すれば 、層 を 重ねる ほど 自由度 は 上がり 、ニューラルネットワーク で 表現 できる 関数 の 種類 は 、層 を 重ねれば 重ねる ほど 増える ）。

ところが 、やって みる と そう なら なかった 。 精度 が 上がら ない の だ 。

なぜ か と いう と 、 深い 層 だ と 誤差 逆 伝播 が 、 下 の ほう まで 届か ない から だ （＊ 注 37）。

上司 の 判断 が よかった か どう か で 、部下 と の 関係 を 強める か 弱める かして 修正する 、これ を 階層 を 順番 に 下って やっていけば よい と いう のが 誤差 逆 伝播 だった が 、組織 の 階層 が 深く なりすぎる と 、一番 上の 上司 の 判断 が よかった か 悪かった か という こと が 、末端 の 従業員 まで 到達する ころに は 、ほとんど 影響 が ゼロ に なってしまう のだ 。

ディープラーニング は 、その 多層 の ニューラルネットワーク を 実現 した 。

どう やって 実現 して いる のだろう か 。

ディープラーニング が 従来 の 機械 学習 と は 大きく 異なる 点 が ２ 点 ある 。

１つ は 、１層 ずつ 階層 ごとに 学習していく 点 、もう １つ は 、自己 符号化器 （オートエンコーダー ）という 「情報 圧縮器 」を 用いる こと だ （＊注 38 ）。

自己 符号 化 器 で は 、少し 変わった 処理 を 行う 。

ニューラルネットワーク を つくる に は 、正解 を 与えて 学習 させる 学習 フェーズ が 必要だった 。 その 場合 、たとえば 、手書き の 「３ 」という 画像 を 見せれば 、正解 データ として 「３ 」を 与える 。 ところが 、自己 符号化器 で は 「出力 」と 「入力 」を 同じ に する 。 どういう こと か と いう と 、図 21 に ある ように 、「手書き の ３ 」の 画像 を 入力 して 、正解 も 同じ 「手書き の ３ 」の 画像 として 、答え合わせ を する のだ 。

「手書き の ３ 」の 画像 を 入力 して 、これ が ３ です よ と 教える ので は なく 、「手書き の ３ 」の 画像 を 入力 して 、答え は 同じ 「手書き の ３ 」の 画像 と 教える のだ 。

普通 に 考えれば 意味 は ない 。 わかり やすく 説明 する ために 、ちょっと 画像 の 話 を 離れて 、日本 全国 の 天気 を 例 に しよう 。 「今日 の 天気 は 、北海道 は 晴れ 、青森 は くもり 、……、鹿児島 は 雨 、沖縄 は 雨 」と いった 具合 に 、全国 47 都道府県 の 天気 の 情報 が ある と する 。 この とき 、次の ゲーム を 考えて みる 。 チーム の 中 で 、１人にだけ、ある１日の日本全国47都道府県の天気（晴れかくもりか雨か）が知らされています。 これ を もう １ 人 の チーム メンバー に 伝え 、その 人 が 47 都道府県 の 天気 の うち 、何 個 を 正確に 答えられた か を 競い ます 。 この とき 、手紙 を 渡して メッセージ を 伝えます が 、日本 全国 の うち 10 カ所 の 天気 だけ を 伝える こと が でき ます 。 その 10 カ所 の 天気 を もと に 、もう １ 人 は 47 カ所 の 天気 を 予想 し ます 。 まず 、単純に 北 から 順番 に 10 カ所 を 選んで みよう 。 数字 に する ため に 、晴れ は ２ 点 、くもり は １ 点 、雨 は ０ 点 と しよう 。 すると 、

特徴 表現 ①：（北海道 、青森 、岩手 、宮城 、秋田 、山形 、福島 、茨城 、栃木 、群馬 ）

＝（2,2,2,2,2,2,1,0,1,1）

と 手紙 に 書いて 渡せば よい こと に なる 。

この 手紙 を 受け取った 人 は 、受け取った 地点 の 天気 から 、そこ に 書か れて いない 地点 の 天気 も 予想 して 、結果的に 全国 47 都道府県 の 天気 を 答える こと に なる 。 おそらく 、この 「特徴 表現 ① 」の 場合 、北 日本 の 天気 は よく 再現 できて も 、中部 や 西 日本 の 天気 は ハズレ まくる だろう 。

もっと いい 方法 は ない だろう か 。

基本 的な 考え方 は こう だ 。 ある 県 が 晴れて いたら その 隣 の 県 は 晴れ だろう し 、ある 県 が 雨 だったら その 隣 の 県 は 雨 の 確率 が 高い 。 東京 が 晴れ だったら 、おそらく 千葉 も 晴れ だ 。 秋田 が 雨 なら おそらく 山形 も 雨 だ 。 したがって 、これ を ２ つ とも 伝える の は 無駄 が 大きい 。

つまり 、ある 地点 と 地点 の 間 に は 、「どの くらい 天気 が 似ている か 」という 傾向 が ある はずだ 。

これ を うまく 使って 10 カ所 を 選んだ ほうが よい 。 つまり 、日本 全国 の 天気 を 表す とき は 、「特徴 表現 ① 」より も 「特徴 表現 ② 」の ほうが よい 特徴 表現 と いえる 。 天気 の 情報 が 「より 効果的に 圧縮 して 詰め込まれている 」という こと である 。

もう 少し よい 伝え 方 が ない か 、考えて みよう 。

10 都道府県 を 選ぶ ので は なく 、自分 で 勝手に エリア を つくって みて は どうだろう か 。

たとえば 、東京 と 神奈川 、埼玉 、茨城 など を 集めて 、その 天気 の 平均 を とって 、関東 地方 の 天気 と いう こと にして １ カ所 と 考えれば 、もっと 正しく 伝わる ので は ない だろう か 。 そう する と 、こういう 特徴 表現 の しかた も あり そうだ 。