人工 知能 は 人間 を 超える か Chapter05(3)

何て こと は ない 、とても 単純 で 素朴な アイデア だ 。

実際 、ディープラーニング の アイデア に かなり 近い もの は 昔 から あって 、早くも １９８０年代には、当時ＮＨＫの研究所に勤めていた福島邦彦氏（後に大阪大学教授）がネオコグニトロンという先行的な研究をしている。

１９９０年代 に は 産業 技術 総合 研究所 の 野田 五十樹 氏 や 、ドワンゴ 人工 知能 研究所 所長 の 山川 宏 氏 も 同じ ような こと を 考えて いた 。

私 も ２０００ 年 ごろ から 「どう 考えて も この やり方 しか ない はずだ 」と 思って 、ずっと どう やれば できる の か を あれこれ 試みて きた 。

先 述 の ジェフ ・ホーキンス 氏 は 、シリコンバレー に 自分 で レッドウッド 神経 科学 研究所 と いう 施設 まで つくった （現在 は カリフォルニア 大学 バークレー 校 の 下 に ある ）。

だが 、「どう 考えて も この やり方 しか ない 」はず なのに 、どうしても うまく いか なかった 。

それ が 、２００６ 年 に トロント 大学 の ヒントン 氏 が 研究 論文 で 実証 して 見せ （その 前後 に 同じ ような 考え方 で 結果 が 出ている 研究 も たくさん ある し 、実は 、教師なし データ を 使って 教師あり 学習 の 精度 を 上げる という アイデア 自体 は 、かなり 古くから ある ）、２０１２ 年 に は 、コンペティション で 圧勝 する こと に よって 、ついに 多くの 人 の 目 に 触れる 形 で 、その すごさ が 伝わった 。

その後 の 投資 合戦 、期待感 の 高まり は 前述 の 通り である 。

いまに なって わかる の は 、考え方 は 間違って いなかった 。

ただ 、やり方 が 違った の だ 。

実は 、こうした 特徴 量 や 概念 を 取り出す という こと は 、非常に 長 時間 の 「精錬 」の 過程 を 必要 と する 。

何度 も 熱して は たたき上げ 、強く する ような プロセス が 必要である 。

それ が 、得られる 特徴量 や 概念 の 頑健性 （ロバスト性 とも 呼ぶ ）に つながる 。 その ため に どういう こと を やる か というと 、一見 する と 逆説的 だが 、入力 信号 に 「ノイズ 」を 加える のだ 。

ノイズ を 加えて も 加えて も 出て くる 「概念 」は 、ちょっと や そっと の こと で は ぐらつかない 。

その 結果 、たまたま 一致 して いる だけ で 、「２ つ の 県 の 天気 が 似て いる 」と 認識 されて しまう のだ 。 そこ で 、ノイズ を 加える 。

ある 地点 の 天気 を ちょっと ズラす のである 。

晴れ は くもり に 、くもり は 晴れ か 雨 に 、雨 は くもり に 。

サイコロ を 振って 、偶数 の 目 が 出れば 天気 を ズラす 、と しても よい 。

その 結果 、「ちょっと 違う 」天気 の データ が できる 。

この 天気 の データ も 、もと の 天気 の データ と 同じ ような データ として 扱う のである 。

もともと １００ 日間 の 天気 の データ が あった と して 、ノイズ を 加える と 、さらに １００ 枚 の 天気 の データ が できる 。

ノイズ の 加え方 は ランダム だ から 、２ 回 やる と ２ 回 とも 違う 天気 の データ が できる 。

だから 、10 回 、１００回と繰り返してもよい。

１００ 回 繰り返す と 、もと の １００ 枚 の 天気 の データ が １万 枚 の 天気 の データ に 置き換えられる 。 この １万 枚 の 天気 の データ は 言って みれば 、「ちょっと 違った かも しれない 過去 」である 。

ある 地点 の 天気 が 、実は 、別の 世界 で は 晴れ で はなく くもり だった かも しれない 。

何 か ちょっと した 影響 で 、ある 地点 で 雨 で 運動会 が 中止 に なった の が 、くもり で ギリギリ 開催 できた かも しれない 。

こうした 「ちょっと 違った かも しれない 過去 」の データ を たくさん つくる こと で 、データ の 数 を 無理やり 増やす のだ 。

そう する と 、何 が 起こる の か 。

「ある 地点 と 別の 地点 の 天気 が たまたま 一致 して いた 」という こと が なくなる 。

ちょっと 違った かも しれ ない 過去 を 含めて 計算 する ので 、「たまたま 一致 」と いう こと は ない 。

一致 する なら 一致 する なり の 理由 が ある はずである 。

ディープラーニング で は 、このように 「ちょっと 違った かも しれない 過去 」の データ を たくさん つくり 、それ を 使って 学習する こと で 、「絶対に 間違い で は ない 」特徴量 を 見つけ出す 。

そして 、「絶対 に 間違い で は ない 」特徴量 である が ゆえに 、その 特徴量 を 使った 高次 の 特徴量 も 見つける こと が できる のである 。

このような 「ちょっと 違った 過去 」を 使えば いい と いう こと が 、私 も わかって いなかった し 、ほか の 研究者 も わかって いなかった 。

１個 １個の 抽象化 の 作業 が 非常に 堅牢 である こと に よって 、２段目 、３段目 と 積み上がった とき にも 効果 を 発揮する 。

家 を 建てる とき に 、１ 階 部分 が グラグラ していれば 、２ 階 、３ 階 を 重ねていく のは 無理 が ある 。

２階建て 、３階建て の 家 を つくる に は 、結局 、１階 部分 を きわめて 頑健 に つくる 必要 が あった のだ 。

そして 、ちょっと や そっと の こと で は 揺るがない 頑健性 を 獲得する に は 、実は 、ものすごい 計算機 パワー が 必要だ 。

たとえば 、手書き 文字 の 認識 の 28 ピクセル × 28 ピクセル の 画像 は 、画像 データ として は 非常に 小さな サイズ だが 、１ 枚 の 画像 に つき 数百 から 数千 の ノイズ を 加えた だけ で 、普通の パソコン で 計算 する のに ２ 日 くらい かかる 。

もっと 解像度 の 高い 画像 で トレーニング しよう と 思う と 、２０１５ 年 現在 の マシンスペック でも 、ＧＰＵ（画像処理ユニット）が入ったサーバーを数台以上つなげてようやく精度が上がるレベルである。

グーグル の ネコ 認識 の 研究 で は 、前述 の ように 、１０００ 台 の サーバー を 使って おり 、これ は 金額 に して １００万 ドル （１億 円 ）分 である （＊ 注 44 ）。

10 年 以上 前 の マシン で は 望む べくも なかった が 、マシン パワー が 飛躍的に 高まった 現在 に なって 、ようやく 頑健性 を 高める こと 、それに よって ニューラルネットワーク を 多段 にして 、高次 の 特徴量 を 得る こと が 可能に なってきた のである 。

たとえば 、ドロップ アウト と いって 、ニューラルネットワーク の ニューロン を 一部 停止 させる 。

隠れ 層 の 50％ の ニューロン を ランダム に 欠落 させる のだ 。

言って みれば 、「あなた が つくった 特徴 表現 の 中 で 、今回 は 、全国 、日本海側 、関東 、四国 、沖縄 の データ は 使えません 。 さあ 、47 都道府県 の 天気 を 予想 して ください 」と いう 問題 を 解く のである 。

その 結果 、何 が 起こる か 。

東北 地方 の 天気 に は 「東北 」の 項目 を 使えば いい と 思っていた のだが 、東北 の データ が 使えない こと が ある わけだ 。

そう する と 、東北 の データ が 使えない とき に も 、東北 地方 の 天気 が ある 程度 予想できる ように 、ほか の 項目 を 工夫する 必要 が ある 。

太平洋 側 、日本海 側 と いう 項目 が あれば 少し 安心だ 。

あるいは 、日本海側 という 項目 が 使えない とき の ために 、東北 とか 北陸 という 分け方 で 持っておく こと も 重要だ 。

このように 、ある 特徴量 が ほか の 特徴量 を カバー する ように 、最適化 されて いく 。 ある 特徴 量 に 過度に 依存 した 特徴 表現 が なくなる 。

そもそも 、ある 特徴 量 だけ に 依存 し すぎる の は 危険 だ 。

つまり 、一部分 の 特徴量 を 使えなく する こと が 、適切な 特徴 表現 を 見つける こと に 有効に 働く のである 。

ほか に も 、ニューラルネットワーク に とって 、「過酷な 環境 」が いろいろ と 研究 されている 。 そこ まで いじめ 抜か ない と 、データ の 背後 に 存在 する 「本質的な 特徴量 」を 獲得 でき ない のである 。

画像 認識 の 精度 が 上がら なかった の は 、頑健性 を 高める ため に いじめ抜く という 作業 の 重要性 （専門的に 言う と 、正則化 の ため の 新しい 方法 ）に 気づいて いなかった ため 、そして 、そもそも マシン パワー が 不足して できなかった ため である 。

科学 的な 発見 は いつも そう だが 、発見されてしまえば 、何という こと は ない 、単純 で 自明 な こと だったり する 。 実際 、多く の 研究者 が 考えていた 「自己 符号化器 を ベース に 特徴量 を 多段 に していけば よい 」と いう 予想 は 正しかった のである 。

ところが 、それ が 人工 知能 の 分野 で 長年 実現 できなかった のは 、コンピュータ が 概念 を 獲得 しない まま 、記号 を 単なる 記号 表記 として のみ 扱っていた から だ 。

記号 を 「概念 と 記号 表記 が セット に した もの 」として 扱って こなかった 、あるいは 扱う こと が できなかった から である 。

その ため に 、現実 世界 の 中 から 「何 を 特徴 表現 と する か 」は 、すべて 人間 が 決めて きた 。

決める しか なかった 。

コンピュータ の 能力 が いま ほど 高く なく 、記号 を それ の もと に なる 低次 の 情報 と あわせて 扱う こと など でき なかった から だ 。

そこ が すべて の 問題 の 根源 に なって いた 。

ディープラーニング の 登場 は 、少なくとも 画像 や 音声 という 分野 に おいて 、「データ を もとに 何 を 特徴 表現 すべき か 」を コンピュータ が 自動的に 獲得 する こと が できる と いう 可能性 を 示している 。

簡単な 特徴 量 を コンピュータ が 自ら 見つけ出し 、それ を もと に 高次 の 特徴 量 を 見つけ出す 。

その 特徴 量 を 使って 表さ れる 概念 を 獲得 し 、その 概念 を 使って 知識 を 記述 する という 、人工 知能 の 最大 の 難関 に 、ひと つ の 道 が 示さ れた のだ 。

もちろん 、対象 は 画像 や 音声 だけ で は ない し 、これ だけ で すべて の 状況 に おける 「特徴 表現 の 問題 」が 解決 された と は とても 思えない 。

しかし 、きわめて 重要な ひとつ の ブレークスルー を 与えている のは 間違いない 。

「人間 の 知能 が プログラム で 実現 でき ない はず が ない 」と 思って 、人工 知能 の 研究 は およそ 60 年 前 に スタート した 。

いま まで それ が 実現 でき なかった の は 、特徴 表現 の 獲得 が 大きな 壁 と なって 立ちふさがって いた から だ 。

ところが 、そこ に ひと筋 の 光明 が 差し始めている 。

暗い 洞窟 の 先 に 、いままで 見え なかった 光 が 届き 始めた 。

でき なかった こと に は 理由 が あり 、 それ が 解消 さ れ かけて いる のだ と したら 、 科学 的 立場 と して は 、 基本 テーゼ に 立ち返り 、「 人間 の 知能 が プログラム で 実現 できない はず は ない 」 と いう 立場 を とる べきで は ない だろう か 。

いったん 人工 知能 の アルゴリズム が 実現 すれば 、人間 の 知能 を 大きく 凌駕 する 人工知能 が 登場 する のは 想像 に 難く ない 。

少なくとも 、私 の 定義 で は 、特徴量 を 学習する 能力 と 、特徴量 を 使った モデル 獲得 の 能力 が 、人間 より も きわめて 高い コンピュータ は 実現可能であり 、与えられた 予測 問題 を 人間 より も より 正確に 解く こと が できる はずである 。 それ は 人間 から 見て も 、きわめて 知的に 映る はずだ 。

人間 の 脳 は 、さまざまな 点 で 物理的な 制約 が ある 。

たとえば 普通の 人 より 脳 の サイズ が 10 倍 大きな 人 は 存在 し ない 。

しかし コンピュータ の 場合 に は 、コンピュータ １ 台 で できる こと は 、10 台 に すれば 10 倍 に 、１００台にすれば１００倍になる。

人間 の 知能 レベル に なる という こと は 、すなわち 人間 の 知能 を 超える という こと と 同じ である 。

特徴 表現 の 獲得 能力 が 、言語 概念 の 理解 や ロボット など の 技術 と 組み合わせられる こと で 、可能性 としては 、すべての ホワイトカラー の 労働 を 代替 し うる 技術 と なる 。