×

Nous utilisons des cookies pour rendre LingQ meilleur. En visitant le site vous acceptez nos Politique des cookies.

image

人工知能は人間を超えるか (Will AI surpass human?), 人工知能は人間を超えるか Chapter 05 (4)

人工 知能 は 人間 を 超える か Chapter 05 (4)

それ が どの くらい あり うる こと な の か に ついて は 終章 で くわしく 述べる が 、 少なくとも 、 そう 思って 初期 の 人工 知能 は 研究 されて いた はずである 。 その インパクト は はてしなく 大きい 。

いま この 時代 に 、 もう 一 度 、 この 基本 テーゼ に 戻る べきだ 。

「 人間 の 知能 が プログラム で 実現 でき ない はず は ない 」

（＊ 注 35） もちろん 、 画像 特有 の 知識 （ 事前 知識 ） を いくつか 用いて いる ので 、 完全に 自動 的に つくり 出せる わけで は ない 。 （＊ 注 36） ディープラーニング は 「 特徴 表現 学習 」 の ひと つ である 。

通常 は 「 表現 学習 」（ representationlearning ） と 呼ば れる が 、 本書 で は 、 特別に 、 特徴 表現 学習 と 呼んで いる 。 と いう の は 、「 表現 学習 」 と いう 言葉 は わかり にくく 、 誤解 を 生み やすい から だ 。 英語 の representation と いう 言葉 は 、 represent （ 代表 する もの ） と いう 意味合い が あり 、 ものごと を 代表 して 表す もの 、 と いう 意味合い が ある 。 あるいは 、 re - present （ ふたたび － 現れる ） と いう 意味 も ある 。 ディープラーニング が 、 自己 符号 化 器 で 情報 を よく 復元 する ような 表現 を つくる と いう ニュアンス が 見事に 含まれて おり 、 representationlearning と いう の は きわめて 適切な 用語 である 。 ところが 日本 語 で 「 表現 」 と いう と 、 たとえば 、 文学 や 絵 の 作品 の ような 「 表現 さ れた もの 」 を イメージ して しまう 。

歴史 的に は 、 人工 知能 で は knowledgerepresentation を 知識 表現 と 訳して きた が 、 知識 を 「 表現 する 」 こと と 、 特徴 が 「 表現 さ れる 」 こと は 主体 、 客 体 が 異なり 、「 表現 さ れる 」 と いう 意味 で 使う の は 日本 語 だ と 少し 違和感 が ある 。 哲学 で は 「 表 象 」 と 翻訳 さ れる こと も ある が 、 少し 難しい 用語 である 。 そこ で 、 すでに 浸透 して いる 「 表現 学習 」 と いう 言葉 と できる だけ 齟齬 が ない ように 、 省略 されて いる 意味 （ featurerepresentation ） を あえて 補って 、 本書 で は 「 特徴 表現 学習 」 と 呼んで いる 。 それ に あわせて 、 feature も 「 素性 」 で は なく 「 特徴 量 」 と 呼んで いる 。

（＊ 注 37） これ は vanishinggradientproblem （ 消滅 する 勾配 問題 ） と 呼ば れる 。

最近 に なって 、 この 問題 に より 解け なかった ので は なかった こと も 明らかに なって きた 。 パラメータ 数 が 増える ので 、 局所 解 が 増え 、 過 学習 し やすく なる と いう 問題 も ある 。

（＊ 注 38） ディープラーニング は 、１ 層 ずつ 学習 して いく もの に 限る わけで は ない 。

また 、 オートエンコーダー 以外 に も 、 リストリクティッド ・ ボルツマンマシン （ R estrictedBoltzmannMachine , RBM ） を 用いる 方法 も ある が 、 原理 は ほぼ 同じな ので 、 ここ で は オートエンコーダー だけ を 説明 する 。 くわしく は 、 人工 知能 学会 誌 の 連載 解説 「 DeepLearning （ 深層 学習 ）」（２０１３ 年 ５ 月 号 から ２０１４ 年 ７ 月 号 まで の 全 ７ 回 ） を 参照 いただきたい 。 （＊ 注 39） ジェフ ・ ホーキンス 『 考える 脳 考える コンピューター 』（ ランダムハウス 講談 社 、２００５ 年 ）

（＊ 注 40） たとえば 、 日本 海 側 や 太平洋 側 と いう 言い 方 は 、 天気 で の 相関 関係 から 便利である から よく 使われて いる 概念 であろう から 、 これ を 天気 データ だけ から 再現 できる と して も 驚く こと で は ない 。 （＊ 注 41） 実際 に は 、 必ずしも 細く くびれて いる 必要 性 は ない 。

（＊ 注 42） 自己 符号 化 器 と 主 成分 分析 に は いくつか 違い が ある 。 まず 、 自己 符号 化 器 の 場合 に は 、 非 線形 な 関数 を 用いて いる （ と いう より 、 任意の 関数 を 用いる こと が できる ）。 ２ つ 目 は 、 主 成分 分析 で は 通常 、 第 二 主 成分 は 第 一 主 成分 の 残 余 から 計算 さ れる ので 、 第 一 主 成分 の 影響 を 強く 受ける 。 第 三 主 成分 は 、 第 一 、 第 二 主 成分 の 影響 を 強く 受ける 。 したがって 、 高次 の 主 成分 に なる と 、 ほとんど 実質 的な 意味 が なくなって くる 。

（＊ 注 43） QuocV . Le , Marc ' AurelioRanzato , RajatMonga , MatthieuDevin , GregCorrado , KaiChen , JeffreyDean , AndrewY . Ng : Buildinghigh - l e v e l f e a t u r e s u s i n g l a r g e scaleunsupervisedlearning . ICML 2012. なお 、 画像 認識 など に 使われて いる もの は 、 あらかじめ 問題 に 適した 構造 を 入れた 畳み込み ネットワーク を 普通に 誤算 逆 伝播 さ せる もの が 多く 、 自己 符号 化 器 を 使わ ない もの も 多い 。 グーグル の ネコ 認識 の 研究 は 、 畳み込み ネットワーク ＋ 自己 符号 化 に よる 事前 学習 である 。

（＊ 注 44） その後 、 ＧＰＵ を 活用 する こと で 、 ずっと 小規模の マシン （ たとえば 16 台 の ＰＣ ） でも 同様の 学習 が 同 程度 の 時間 で できる ように なって いる 。

Coates , Adam , etal ." D e e p l earningwithCOTSHPCsystems ." ProceedingsofThe 30 t h I n t e r n a t i o n a l C o nferenceonMachineLearning .2013.


人工 知能 は 人間 を 超える か Chapter 05 (4) じんこう|ちのう||にんげん||こえる||chapter Will artificial intelligence surpass humans Chapter 05 (4) L'intelligence artificielle dépassera-t-elle l'homme ? Chapitre 05 (4) A inteligência artificial ultrapassará o ser humano Capítulo 05 (4)

それ が どの くらい あり うる こと な の か に ついて は 終章 で くわしく 述べる が 、 少なくとも 、 そう 思って 初期 の 人工 知能 は 研究 されて いた はずである 。 |||||||||||||しゅうしょう|||のべる||すくなくとも||おもって|しょき||じんこう|ちのう||けんきゅう|さ れて|| The final chapter will explain in detail how likely it is, but at least in the early days, artificial intelligence should have been studied. その インパクト は はてしなく 大きい 。 |いんぱくと|||おおきい The impact is enormous.

いま この 時代 に 、 もう 一 度 、 この 基本 テーゼ に 戻る べきだ 。 ||じだい|||ひと|たび||きほん|||もどる| We should return to this basic thesis once again in this era.

「 人間 の 知能 が プログラム で 実現 でき ない はず は ない 」 にんげん||ちのう||ぷろぐらむ||じつげん||||| "There's no reason human intelligence can't be programmed."

（＊ 注 35） もちろん 、 画像 特有 の 知識 （ 事前 知識 ） を いくつか 用いて いる ので 、 完全に 自動 的に つくり 出せる わけで は ない 。 そそ||がぞう|とくゆう||ちしき|じぜん|ちしき||いく つ か|もちいて|||かんぜんに|じどう|てきに||だせる||| (*Note 35) Of course, since some image-specific knowledge (prior knowledge) is used, it is not possible to create the product completely automatically. （＊ 注 36） ディープラーニング は 「 特徴 表現 学習 」 の ひと つ である 。 そそ|||とくちょう|ひょうげん|がくしゅう|||| （Deep learning is "feature representation learning. One of the most important

通常 は 「 表現 学習 」（ representationlearning ） と 呼ば れる が 、 本書 で は 、 特別に 、 特徴 表現 学習 と 呼んで いる 。 つうじょう||ひょうげん|がくしゅう|||よば|||ほんしょ|||とくべつに|とくちょう|ひょうげん|がくしゅう||よんで| Usually "expressive learning." （This is called representationlearning, but in this document we refer to it specifically as feature representation learning. と いう の は 、「 表現 学習 」 と いう 言葉 は わかり にくく 、 誤解 を 生み やすい から だ 。 ||||ひょうげん|がくしゅう|||ことば||||ごかい||うみ||| That's because the word "expression learning" is confusing and easy to misunderstand. 英語 の representation と いう 言葉 は 、 represent （ 代表 する もの ） と いう 意味合い が あり 、 ものごと を 代表 して 表す もの 、 と いう 意味合い が ある 。 えいご|||||ことば|||だいひょう|||||いみあい|||||だいひょう||あらわす||||いみあい|| The word "representation" in English has the meaning of "to represent," or to represent something. あるいは 、 re - present （ ふたたび － 現れる ） と いう 意味 も ある 。 ||||あらわれる|||いみ|| It can also mean re - present. ディープラーニング が 、 自己 符号 化 器 で 情報 を よく 復元 する ような 表現 を つくる と いう ニュアンス が 見事に 含まれて おり 、 representationlearning と いう の は きわめて 適切な 用語 である 。 ||じこ|ふごう|か|うつわ||じょうほう|||ふくげん|||ひょうげん|||||にゅあんす||みごとに|ふくま れて||||||||てきせつな|ようご| The nuance of deep learning is that it creates a representation that reconstructs information well with a self-encoder, and representationlearning is a very relevant term. ところが 日本 語 で 「 表現 」 と いう と 、 たとえば 、 文学 や 絵 の 作品 の ような 「 表現 さ れた もの 」 を イメージ して しまう 。 |にっぽん|ご||ひょうげん|||||ぶんがく||え||さくひん|||ひょうげん|||||いめーじ|| However, "expression" in Japanese I mean, for example, "something expressed," as in a work of literature or a painting. I imagine that the image of the

歴史 的に は 、 人工 知能 で は knowledgerepresentation を 知識 表現 と 訳して きた が 、 知識 を 「 表現 する 」 こと と 、 特徴 が 「 表現 さ れる 」 こと は 主体 、 客 体 が 異なり 、「 表現 さ れる 」 と いう 意味 で 使う の は 日本 語 だ と 少し 違和感 が ある 。 れきし|てきに||じんこう|ちのう|||||ちしき|ひょうげん||やくして|||ちしき||ひょうげん||||とくちょう||ひょうげん|||||しゅたい|きゃく|からだ||ことなり|ひょうげん|||||いみ||つかう|||にっぽん|ご|||すこし|いわかん|| Historically, artificial intelligence has translated knowledgerepresentation as "knowledge representation. and characteristics are "expressed." The subject and object are different and "expressed" in different ways. In Japanese, it is a little strange to use the word "ku" to mean "to be" or "to be". 哲学 で は 「 表 象 」 と 翻訳 さ れる こと も ある が 、 少し 難しい 用語 である 。 てつがく|||ひょう|ぞう||ほんやく|||||||すこし|むずかしい|ようご| In philosophy, it is sometimes translated as "representation", but it is a slightly more difficult term. そこ で 、 すでに 浸透 して いる 「 表現 学習 」 と いう 言葉 と できる だけ 齟齬 が ない ように 、 省略 されて いる 意味 （ featurerepresentation ） を あえて 補って 、 本書 で は 「 特徴 表現 学習 」 と 呼んで いる 。 |||しんとう|||ひょうげん|がくしゅう|||ことば||||そご||||しょうりゃく|さ れて||いみ||||おぎなって|ほんしょ|||とくちょう|ひょうげん|がくしゅう||よんで| In this book, we will abbreviate the abbreviated meaning (featurerepresentation) so that there is as little discrepancy as possible with the word "expression learning" that has already penetrated, and we call it "feature expression learning" in this book. それ に あわせて 、 feature も 「 素性 」 で は なく 「 特徴 量 」 と 呼んで いる 。 |||||すじょう||||とくちょう|りょう||よんで| In addition, the feature is also called "identity. but rather, "feature quantity." The "M" in "M" means "to be" or "to be".

（＊ 注 37） これ は vanishinggradientproblem （ 消滅 する 勾配 問題 ） と 呼ば れる 。 そそ||||しょうめつ||こうばい|もんだい||よば| (*Note 37) This is called a vanishing gradientproblem.

最近 に なって 、 この 問題 に より 解け なかった ので は なかった こと も 明らかに なって きた 。 さいきん||||もんだい|||とけ|||||||あきらかに|| Recently, it has become clear that the problem was not solved by this problem. パラメータ 数 が 増える ので 、 局所 解 が 増え 、 過 学習 し やすく なる と いう 問題 も ある 。 |すう||ふえる||きょくしょ|かい||ふえ|か|がくしゅう||||||もんだい|| The number of parameters is increased, which leads to more local solutions and over-learning.

（＊ 注 38） ディープラーニング は 、１ 層 ずつ 学習 して いく もの に 限る わけで は ない 。 そそ|||そう||がくしゅう|||||かぎる||| (Note 38) Deep learning is not limited to learning one layer at a time.

また 、 オートエンコーダー 以外 に も 、 リストリクティッド ・ ボルツマンマシン （ R estrictedBoltzmannMachine , RBM ） を 用いる 方法 も ある が 、 原理 は ほぼ 同じな ので 、 ここ で は オートエンコーダー だけ を 説明 する 。 ||いがい|||||r|estrictedboltzmannmachine|rbm||もちいる|ほうほう||||げんり|||おなじな||||||||せつめい| In addition to the autoencoder, the RESTrictedBoltzmannMachine (RBM) can also be used, but since the principle is almost the same, only the autoencoder is explained here. くわしく は 、 人工 知能 学会 誌 の 連載 解説 「 DeepLearning （ 深層 学習 ）」（２０１３ 年 ５ 月 号 から ２０１４ 年 ７ 月 号 まで の 全 ７ 回 ） を 参照 いただきたい 。 ||じんこう|ちのう|がっかい|し||れんさい|かいせつ|deeplearning|しんそう|がくしゅう|とし|つき|ごう||とし|つき|ごう|||ぜん|かい||さんしょう|いただき たい For more information, see "Deep Learning," a series of articles in the Journal of Artificial Intelligence. (7 issues in total, from May 2013 to July 2014). （＊ 注 39） ジェフ ・ ホーキンス 『 考える 脳 考える コンピューター 』（ ランダムハウス 講談 社 、２００５ 年 ） そそ|||かんがえる|のう|かんがえる|こんぴゅーたー||こうだん|しゃ|とし （Jeff Hawkins, The Thinking Brain and the Thinking Computer (Random House Kodansha, 2005)

（＊ 注 40） たとえば 、 日本 海 側 や 太平洋 側 と いう 言い 方 は 、 天気 で の 相関 関係 から 便利である から よく 使われて いる 概念 であろう から 、 これ を 天気 データ だけ から 再現 できる と して も 驚く こと で は ない 。 そそ||にっぽん|うみ|がわ||たいへいよう|がわ|||いい|かた||てんき|||そうかん|かんけい||べんりである|||つかわ れて||がいねん|||||てんき|でーた|||さいげん|||||おどろく|||| （For example, the terms Sea of Japan and Pacific Ocean sides are often used because they are convenient for weather correlations, so it is not surprising that they can be reconstructed from weather data alone. （＊ 注 41） 実際 に は 、 必ずしも 細く くびれて いる 必要 性 は ない 。 そそ|じっさい|||かならずしも|ほそく|||ひつよう|せい|| (*Note 41) In practice, it does not necessarily have to be narrow and constricted.

（＊ 注 42） 自己 符号 化 器 と 主 成分 分析 に は いくつか 違い が ある 。 そそ|じこ|ふごう|か|うつわ||おも|せいぶん|ぶんせき|||いく つ か|ちがい|| (*Note 42) There are some differences between a self-coder and principal component analysis. まず 、 自己 符号 化 器 の 場合 に は 、 非 線形 な 関数 を 用いて いる （ と いう より 、 任意の 関数 を 用いる こと が できる ）。 |じこ|ふごう|か|うつわ||ばあい|||ひ|せんけい||かんすう||もちいて|||||にんいの|かんすう||もちいる||| First, in the case of a self-coder, a non-linear function is used (or rather, an arbitrary function can be used). ２ つ 目 は 、 主 成分 分析 で は 通常 、 第 二 主 成分 は 第 一 主 成分 の 残 余 から 計算 さ れる ので 、 第 一 主 成分 の 影響 を 強く 受ける 。 |め||おも|せいぶん|ぶんせき|||つうじょう|だい|ふた|おも|せいぶん||だい|ひと|おも|せいぶん||ざん|よ||けいさん||||だい|ひと|おも|せいぶん||えいきょう||つよく|うける Second, in principal component analysis, the second principal component is usually calculated from the remainder of the first principal component, so it is strongly influenced by the first principal component. 第 三 主 成分 は 、 第 一 、 第 二 主 成分 の 影響 を 強く 受ける 。 だい|みっ|おも|せいぶん||だい|ひと|だい|ふた|おも|せいぶん||えいきょう||つよく|うける The third principal component is strongly influenced by the first and second principal components. したがって 、 高次 の 主 成分 に なる と 、 ほとんど 実質 的な 意味 が なくなって くる 。 |こうじ||おも|せいぶん|||||じっしつ|てきな|いみ||| Therefore, higher order principal components have little real meaning.

（＊ 注 43） QuocV . Le , Marc ' AurelioRanzato , RajatMonga , MatthieuDevin , GregCorrado , KaiChen , JeffreyDean , AndrewY . Ng : Buildinghigh - l e v e l f e a t u r e s u s i n g l a r g e scaleunsupervisedlearning . ICML 2012. なお 、 画像 認識 など に 使われて いる もの は 、 あらかじめ 問題 に 適した 構造 を 入れた 畳み込み ネットワーク を 普通に 誤算 逆 伝播 さ せる もの が 多く 、 自己 符号 化 器 を 使わ ない もの も 多い 。 そそ|quocv|le|marc|aurelioranzato|rajatmonga|matthieudevin|gregcorrado|kaichen|jeffreydean|andrewy|ng|buildinghigh|||||||||||||||||||||||||icml||がぞう|にんしき|||つかわ れて|||||もんだい||てきした|こうぞう||いれた|たたみこみ|ねっとわーく||ふつうに|ごさん|ぎゃく|でんぱ|||||おおく|じこ|ふごう|か|うつわ||つかわ||||おおい (* Note 43) QuocV . Le , Marc ' AurelioRanzato , RajatMonga , MatthieuDevin , GregCorrado , KaiChen , JeffreyDean , AndrewY . Ng : Buildinghigh - l e v e l f e a t u r e s u s i n g l a r g e scaleunsupervisedlearning . In addition, many of those used in image recognition and other applications use convolutional networks with structures appropriate to the problem for normal miscalculation and inverse propagation, and many of them do not use self-coders. グーグル の ネコ 認識 の 研究 は 、 畳み込み ネットワーク ＋ 自己 符号 化 に よる 事前 学習 である 。 ||ねこ|にんしき||けんきゅう||たたみこみ|ねっとわーく|じこ|ふごう|か|||じぜん|がくしゅう| Google's research on cat recognition is based on prior learning using convolutional networks and self-coding.

（＊ 注 44） その後 、 ＧＰＵ を 活用 する こと で 、 ずっと 小規模の マシン （ たとえば 16 台 の ＰＣ ） でも 同様の 学習 が 同 程度 の 時間 で できる ように なって いる 。 そそ|そのご|ｇｐｕ||かつよう|||||しょうきぼの|ましん||だい||ｐｃ||どうようの|がくしゅう||どう|ていど||じかん||||| (*Note 44) Subsequently, the use of GPUs has enabled similar learning on much smaller machines (e.g., 16 PCs) in a similar amount of time.

Coates , Adam , etal ." D e e p l earningwithCOTSHPCsystems ." ProceedingsofThe 30 t h I n t e r n a t i o n a l C o nferenceonMachineLearning .2013. coates|adam||d|||||earningwithcotshpcsystems|proceedingsofthe|||i|||||||||||||c||nferenceonmachinelearning Coates , Adam , etal ." D e p l earningwithCOTSHPCsystems ." ProceedingsofThe 30 t h I n t e r n a t i o n a l C o nferenceonMachineLearning .2013.