人工 知能 は 人間 を 超える か Chapter05(4)

それ が どの くらい あり うる こと な の か に ついて は 終章 で くわしく 述べる が 、少なくとも 、そう 思って 初期 の 人工 知能 は 研究 されて いた はずである 。 その インパクト は はてしなく 大きい 。

いま この 時代 に 、もう 一度 、この 基本 テーゼ に 戻る べきだ 。

「人間 の 知能 が プログラム で 実現 でき ない はず は ない 」

（＊ 注 35） もちろん 、 画像 特有 の 知識 （ 事前 知識 ） を いくつか 用いて いる ので 、 完全に 自動 的に つくり 出せる わけで は ない 。 （＊ 注 36） ディープラーニング は 「 特徴 表現 学習 」 の ひと つ である 。

通常 は 「表現 学習 」（representationlearning ）と 呼ばれ る が 、本書 で は 、特別に 、特徴 表現 学習 と 呼んで いる 。 と いう の は 、「表現 学習 」と いう 言葉 は わかりにくく 、誤解 を 生み やすい から だ 。 英語 の representation と いう 言葉 は 、 represent （ 代表 する もの ） と いう 意味合い が あり 、 ものごと を 代表 して 表す もの 、 と いう 意味合い が ある 。 あるいは 、re-present （ふたたび －現れる ）という 意味 も ある 。 ディープラーニング が 、自己 符号化器 で 情報 を よく 復元 する ような 表現 を つくる と いう ニュアンス が 見事に 含まれて おり 、representationlearning と いう の は きわめて 適切な 用語 である 。 ところが 日本語 で 「表現 」と いう と 、たとえば 、文学 や 絵 の 作品 の ような 「表現された もの 」を イメージしてしまう 。

歴史 的に は 、人工 知能 で は knowledgerepresentation を 知識 表現 と 訳して きた が 、知識 を 「表現する 」こと と 、特徴 が 「表現される 」こと は 主体 、客体 が 異なり 、「表現される 」という 意味 で 使う のは 日本語 だと 少し 違和感 が ある 。 哲学 で は 「表象 」と 翻訳 される こと も ある が 、少し 難しい 用語 である 。 そこ で 、すでに 浸透 して いる 「表現 学習 」と いう 言葉 と できるだけ 齟齬 が ない ように 、省略 されている 意味 （featurerepresentation ）を あえて 補って 、本書 で は 「特徴 表現 学習 」と 呼んでいる 。 それ に あわせて 、feature も 「素性 」で は なく 「特徴量 」と 呼んで いる 。

（＊ 注 37） これ は vanishinggradientproblem （ 消滅 する 勾配 問題 ） と 呼ば れる 。

最近 に なって 、この 問題 に より 解け なかった ので は なかった こと も 明らかに なって きた 。 パラメータ 数 が 増える ので 、局所 解 が 増え 、過学習 しやすく なる と いう 問題 も ある 。

（＊ 注 38） ディープラーニング は 、１ 層 ずつ 学習 して いく もの に 限る わけで は ない 。

また 、オートエンコーダー 以外 に も 、リストリクティッド ・ボルツマンマシン （RestrictedBoltzmannMachine, RBM ）を 用いる 方法 も ある が 、原理 は ほぼ 同じ な ので 、ここ で は オートエンコーダー だけ を 説明する 。 くわしく は 、人工 知能 学会 誌 の 連載 解説 「 DeepLearning （深層 学習 ）」（２０１３ 年 ５ 月 号 から ２０１４ 年 ７ 月 号 まで の 全 ７ 回 ）を 参照 いただきたい 。 （＊ 注 39） ジェフ ・ ホーキンス 『 考える 脳 考える コンピューター 』（ ランダムハウス 講談 社 、２００５ 年 ）

（＊ 注 40） たとえば 、 日本 海 側 や 太平洋 側 と いう 言い 方 は 、 天気 で の 相関 関係 から 便利である から よく 使われて いる 概念 であろう から 、 これ を 天気 データ だけ から 再現 できる と して も 驚く こと で は ない 。 （＊ 注 41） 実際 に は 、 必ずしも 細く くびれて いる 必要 性 は ない 。

（＊ 注 42） 自己 符号 化 器 と 主 成分 分析 に は いくつか 違い が ある 。 まず 、自己 符号化器 の 場合 に は 、非線形 な 関数 を 用いている （というより 、任意の 関数 を 用いる こと が できる ）。 ２つ目 は 、主成分分析 で は 通常 、第 二 主成分 は 第 一 主成分 の 残余 から 計算 される ので 、第 一 主成分 の 影響 を 強く 受ける 。 第 三 主 成分 は 、第 一 、第 二 主 成分 の 影響 を 強く 受ける 。 したがって 、高次 の 主 成分 に なる と 、ほとんど 実質的な 意味 が なくなってくる 。

（＊ 注 43） QuocV . Le , Marc ' AurelioRanzato , RajatMonga , MatthieuDevin , GregCorrado , KaiChen , JeffreyDean , AndrewY . Ng : Buildinghigh - l e v e l f e a t u r e s u s i n g l a r g e scaleunsupervisedlearning . ICML 2012. なお 、 画像 認識 など に 使われて いる もの は 、 あらかじめ 問題 に 適した 構造 を 入れた 畳み込み ネットワーク を 普通に 誤算 逆 伝播 させる もの が 多く 、 自己 符号 化 器 を 使わない もの も 多い 。 グーグル の ネコ 認識 の 研究 は 、畳み込み ネットワーク ＋自己符号化 による 事前学習 である 。

（＊ 注 44） その後 、 ＧＰＵ を 活用 する こと で 、 ずっと 小規模の マシン （ たとえば 16 台 の ＰＣ ） でも 同様の 学習 が 同 程度 の 時間 で できる よう に なって いる 。

Coates,Adam,etal."DeeplearningwithCOTSHPCsystems."ProceedingsofThe30thInternationalConferenceonMachineLearning.2013.