×

Nous utilisons des cookies pour rendre LingQ meilleur. En visitant le site vous acceptez nos Politique des cookies.


image

人工知能は人間を超えるか (Will AI surpass human?), 人工知能は人間を超えるか Chapter 05 (3)

人工 知能 は 人間 を 超える か Chapter 05 (3)

何て こと は ない 、 とても 単純で 素朴な アイデア だ 。

実際 、 ディープラーニング の アイデア に かなり 近い もの は 昔 から あって 、 早くも 1980 年 代 に は 、 当時 NHK の 研究 所 に 勤めて いた 福島 邦彦 氏 ( 後 に 大阪 大学 教授 ) が ネオコグニトロン と いう 先行 的な 研究 を して いる 。

1990 年 代 に は 産業 技術 総合 研究 所 の 野田 五十 樹 氏 や 、 ドワンゴ 人工 知能 研究 所 所長 の 山川 宏 氏 も 同じ ような こと を 考えて いた 。

私 も 2000 年 ごろ から 「 どう 考えて も この やり 方 しか ない はずだ 」 と 思って 、 ずっと どう やれば できる の か を あれこれ 試みて きた 。

先 述 の ジェフ ・ ホーキンス 氏 は 、 シリコンバレー に 自分 で レッドウッド 神経 科学 研究 所 と いう 施設 まで つくった ( 現在 は カリフォルニア 大学 バークレー 校 の 下 に ある )。

だが 、「 どう 考えて も この やり 方 しか ない 」 はずな のに 、 どうしても うまく いか なかった 。

それ が 、2006 年 に トロント 大学 の ヒントン 氏 が 研究 論文 で 実証 して 見せ ( その 前後 に 同じ ような 考え 方 で 結果 が 出て いる 研究 も たくさん ある し 、 実は 、 教師 なし データ を 使って 教師 あり 学習 の 精度 を 上げる と いう アイデア 自体 は 、 かなり 古くから ある )、2012 年 に は 、 コンペティション で 圧勝 する こと に よって 、 ついに 多く の 人 の 目 に 触れる 形 で 、 その すご さ が 伝わった 。

その後 の 投資 合戦 、 期待 感 の 高まり は 前述 の 通り である 。

いまに なって わかる の は 、 考え 方 は 間違って い なかった 。

ただ 、 やり 方 が 違った のだ 。

実は 、 こうした 特徴 量 や 概念 を 取り出す と いう こと は 、 非常に 長 時間 の 「 精錬 」 の 過程 を 必要 と する 。

何度 も 熱して は たたき上げ 、 強く する ような プロセス が 必要である 。

それ が 、 得られる 特徴 量 や 概念 の 頑健 性 ( ロバスト 性 と も 呼ぶ ) に つながる 。 その ため に どういう こと を やる か と いう と 、 一見 する と 逆説 的だ が 、 入力 信号 に 「 ノイズ 」 を 加える のだ 。

ノイズ を 加えて も 加えて も 出て くる 「 概念 」 は 、 ちょっと や そっと の こと で は ぐらつか ない 。

その 結果 、 たまたま 一致 して いる だけ で 、「2 つ の 県 の 天気 が 似て いる 」 と 認識 されて しまう のだ 。 そこ で 、 ノイズ を 加える 。

ある 地点 の 天気 を ちょっと ズラ す のである 。

晴れ は くもり に 、 くもり は 晴れ か 雨 に 、 雨 は くもり に 。

サイコロ を 振って 、 偶数 の 目 が 出れば 天気 を ズラ す 、 と して も よい 。

その 結果 、「 ちょっと 違う 」 天気 の データ が できる 。

この 天気 の データ も 、 もと の 天気 の データ と 同じ ような データ と して 扱う のである 。

もともと 100 日間 の 天気 の データ が あった と して 、 ノイズ を 加える と 、 さらに 100 枚 の 天気 の データ が できる 。

ノイズ の 加え 方 は ランダム だ から 、2 回 やる と 2 回 と も 違う 天気 の データ が できる 。

だから 、10 回 、100 回 と 繰り返して も よい 。

100 回 繰り返す と 、 もと の 100 枚 の 天気 の データ が 1万 枚 の 天気 の データ に 置き換えられる 。 この 1万 枚 の 天気 の データ は 言って みれば 、「 ちょっと 違った かも しれ ない 過去 」 である 。

ある 地点 の 天気 が 、 実は 、 別の 世界 で は 晴れ で は なく くもり だった かも しれ ない 。

何 か ちょっと した 影響 で 、 ある 地点 で 雨 で 運動 会 が 中止 に なった の が 、 くもり で ギリギリ 開催 できた かも しれ ない 。

こうした 「 ちょっと 違った かも しれ ない 過去 」 の データ を たくさん つくる こと で 、 データ の 数 を 無理やり 増やす のだ 。

そう する と 、 何 が 起こる の か 。

「 ある 地点 と 別の 地点 の 天気 が たまたま 一致 して いた 」 と いう こと が なくなる 。

ちょっと 違った かも しれ ない 過去 を 含めて 計算 する ので 、「 たまたま 一致 」 と いう こと は ない 。

一致 する なら 一致 する なり の 理由 が ある はずである 。

ディープラーニング で は 、 このように 「 ちょっと 違った かも しれ ない 過去 」 の データ を たくさん つくり 、 それ を 使って 学習 する こと で 、「 絶対 に 間違い で は ない 」 特徴 量 を 見つけ出す 。

そして 、「 絶対 に 間違い で は ない 」 特徴 量 である が ゆえ に 、 その 特徴 量 を 使った 高次 の 特徴 量 も 見つける こと が できる のである 。

このような 「 ちょっと 違った 過去 」 を 使えば いい と いう こと が 、 私 も わかって い なかった し 、 ほか の 研究 者 も わかって い なかった 。

1 個 1 個 の 抽象 化 の 作業 が 非常に 堅 牢 である こと に よって 、2 段 目 、3 段 目 と 積み上がった とき に も 効果 を 発揮 する 。

家 を 建てる とき に 、1 階 部分 が グラグラ して いれば 、2 階 、3 階 を 重ねて いく の は 無理 が ある 。

2 階建て 、3 階建て の 家 を つくる に は 、 結局 、1 階 部分 を きわめて 頑健 に つくる 必要 が あった のだ 。

そして 、 ちょっと や そっと の こと で は 揺るが ない 頑健 性 を 獲得 する に は 、 実は 、 ものすごい 計算 機 パワー が 必要だ 。

たとえば 、 手書き 文字 の 認識 の 28 ピクセル ×28 ピクセル の 画像 は 、 画像 データ と して は 非常に 小さな サイズ だ が 、1 枚 の 画像 に つき 数 百 から 数 千 の ノイズ を 加えた だけ で 、 普通の パソコン で 計算 する のに 2 日 くらい かかる 。

もっと 解像度 の 高い 画像 で トレーニング しよう と 思う と 、2015 年 現在 の マシンスペック でも 、 GPU ( 画像 処理 ユニット ) が 入った サーバー を 数 台 以上 つなげて ようやく 精度 が 上がる レベル である 。

グーグル の ネコ 認識 の 研究 で は 、 前述 の ように 、1000 台 の サーバー を 使って おり 、 これ は 金額 に して 100万 ドル (1億 円 ) 分 である (* 注 44)。

10 年 以上 前 の マシン で は 望む べく も なかった が 、 マシン パワー が 飛躍 的に 高まった 現在 に なって 、 ようやく 頑健 性 を 高める こと 、 それ に よって ニューラルネットワーク を 多 段 に して 、 高次 の 特徴 量 を 得る こと が 可能に なって きた のである 。

たとえば 、 ドロップ アウト と いって 、 ニューラルネットワーク の ニューロン を 一部 停止 さ せる 。

隠れ 層 の 50% の ニューロン を ラン ダム に 欠落 さ せる のだ 。

言って みれば 、「 あなた が つくった 特徴 表現 の 中 で 、 今回 は 、 全国 、 日本 海 側 、 関東 、 四国 、 沖縄 の データ は 使えません 。 さあ 、47 都道府県 の 天気 を 予想 して ください 」 と いう 問題 を 解く のである 。

その 結果 、 何 が 起こる か 。

東北 地方 の 天気 に は 「 東北 」 の 項目 を 使えば いい と 思って いた のだ が 、 東北 の データ が 使え ない こと が ある わけだ 。

そう する と 、 東北 の データ が 使え ない とき に も 、 東北 地方 の 天気 が ある 程度 予想 できる ように 、 ほか の 項目 を 工夫 する 必要 が ある 。

太平洋 側 、 日本 海 側 と いう 項目 が あれば 少し 安心だ 。

あるいは 、 日本 海 側 と いう 項目 が 使え ない とき の ため に 、 東北 と か 北陸 と いう 分け 方 で 持って おく こと も 重要だ 。

このように 、 ある 特徴 量 が ほか の 特徴 量 を カバー する ように 、 最適 化 されて いく 。 ある 特徴 量 に 過度に 依存 した 特徴 表現 が なくなる 。

そもそも 、 ある 特徴 量 だけ に 依存 し すぎる の は 危険だ 。

つまり 、 一部分 の 特徴 量 を 使え なく する こと が 、 適切な 特徴 表現 を 見つける こと に 有効に 働く のである 。

ほか に も 、 ニューラルネットワーク に とって 、「 過酷な 環境 」 が いろいろ と 研究 されて いる 。 そこ まで いじめ 抜か ない と 、 データ の 背後 に 存在 する 「 本質 的な 特徴 量 」 を 獲得 でき ない のである 。

画像 認識 の 精度 が 上がら なかった の は 、 頑健 性 を 高める ため に いじめ 抜く と いう 作業 の 重要 性 ( 専門 的に 言う と 、 正則 化 の ため の 新しい 方法 ) に 気づいて い なかった ため 、 そして 、 そもそも マシン パワー が 不足 して でき なかった ため である 。

科学 的な 発見 は いつも そう だ が 、 発見 されて しまえば 、 何という こと は ない 、 単純で 自明な こと だったり する 。 実際 、 多く の 研究 者 が 考えて いた 「 自己 符号 化 器 を ベース に 特徴 量 を 多 段 に して いけば よい 」 と いう 予想 は 正しかった のである 。

ところが 、 それ が 人工 知能 の 分野 で 長年 実現 でき なかった の は 、 コンピュータ が 概念 を 獲得 し ない まま 、 記号 を 単なる 記号 表記 と して のみ 扱って いた から だ 。

記号 を 「 概念 と 記号 表記 が セット に した もの 」 と して 扱って こ なかった 、 あるいは 扱う こと が でき なかった から である 。

その ため に 、 現実 世界 の 中 から 「 何 を 特徴 表現 と する か 」 は 、 すべて 人間 が 決めて きた 。

決める しか なかった 。

コンピュータ の 能力 が いま ほど 高く なく 、 記号 を それ の もと に なる 低 次 の 情報 と あわせて 扱う こと など でき なかった から だ 。

そこ が すべて の 問題 の 根源 に なって いた 。

ディープラーニング の 登場 は 、 少なくとも 画像 や 音声 と いう 分野 に おいて 、「 データ を もと に 何 を 特徴 表現 す べき か 」 を コンピュータ が 自動 的に 獲得 する こと が できる と いう 可能 性 を 示して いる 。

簡単な 特徴 量 を コンピュータ が 自ら 見つけ出し 、 それ を もと に 高次 の 特徴 量 を 見つけ出す 。

その 特徴 量 を 使って 表さ れる 概念 を 獲得 し 、 その 概念 を 使って 知識 を 記述 する と いう 、 人工 知能 の 最大 の 難関 に 、 ひと つ の 道 が 示さ れた のだ 。

もちろん 、 対象 は 画像 や 音声 だけ で は ない し 、 これ だけ で すべて の 状況 に おける 「 特徴 表現 の 問題 」 が 解決 さ れた と は とても 思え ない 。

しかし 、 きわめて 重要な ひと つ の ブレークスルー を 与えて いる の は 間違い ない 。

「 人間 の 知能 が プログラム で 実現 でき ない はず が ない 」 と 思って 、 人工 知能 の 研究 は およそ 60 年 前 に スタート した 。

いま まで それ が 実現 でき なかった の は 、 特徴 表現 の 獲得 が 大きな 壁 と なって 立ちふさがって いた から だ 。

ところが 、 そこ に ひと 筋 の 光明 が 差し 始めて いる 。

暗い 洞窟 の 先 に 、 いま まで 見え なかった 光 が 届き 始めた 。

でき なかった こと に は 理由 が あり 、 それ が 解消 さ れ かけて いる のだ と したら 、 科学 的 立場 と して は 、 基本 テーゼ に 立ち返り 、「 人間 の 知能 が プログラム で 実現 でき ない はず は ない 」 と いう 立場 を とる べきで は ない だろう か 。

いったん 人工 知能 の アルゴリズム が 実現 すれば 、 人間 の 知能 を 大きく 凌 駕 する 人工 知能 が 登場 する の は 想像 に 難く ない 。

少なくとも 、 私 の 定義 で は 、 特徴 量 を 学習 する 能力 と 、 特徴 量 を 使った モデル 獲得 の 能力 が 、 人間 より も きわめて 高い コンピュータ は 実現可能であり 、 与えられた 予測 問題 を 人間 より も より 正確に 解く こと が できる はずである 。 それ は 人間 から 見て も 、 きわめて 知的に 映る はずだ 。

人間 の 脳 は 、 さまざまな 点 で 物理 的な 制約 が ある 。

たとえば 普通の 人 より 脳 の サイズ が 10 倍 大きな 人 は 存在 し ない 。

しかし コンピュータ の 場合 に は 、 コンピュータ 1 台 で できる こと は 、10 台 に すれば 10 倍 に 、100 台 に すれば 100 倍 に なる 。

人間 の 知能 レベル に なる と いう こと は 、 すなわち 人間 の 知能 を 超える と いう こと と 同じである 。

特徴 表現 の 獲得 能力 が 、 言語 概念 の 理解 や ロボット など の 技術 と 組み合わせられる こと で 、 可能 性 と して は 、 すべて の ホワイトカラー の 労働 を 代替 し うる 技術 と なる 。


人工 知能 は 人間 を 超える か Chapter 05 (3) じんこう|ちのう||にんげん||こえる||chapter Will Artificial Intelligence Surpass Humans Chapter 05 (3) L'intelligence artificielle dépassera-t-elle l'homme ? Chapitre 05 (3) 인공지능은 인간을 넘어설 것인가 Chapter 05 (3) A inteligência artificial ultrapassará o ser humano Capítulo 05 (3)

何て こと は ない 、 とても 単純で 素朴な アイデア だ 。 なんて|||||たんじゅんで|そぼくな|あいであ| Nothing, it's a very simple and naive idea.

実際 、 ディープラーニング の アイデア に かなり 近い もの は 昔 から あって 、 早くも 1980 年 代 に は 、 当時 NHK の 研究 所 に 勤めて いた 福島 邦彦 氏 ( 後 に 大阪 大学 教授 ) が ネオコグニトロン と いう 先行 的な 研究 を して いる 。 じっさい|||あいであ|||ちかい|||むかし|||はやくも|とし|だい|||とうじ|nhk||けんきゅう|しょ||つとめて||ふくしま|くにひこ|うじ|あと||おおさか|だいがく|きょうじゅ|||||せんこう|てきな|けんきゅう||| In fact, the idea of deep learning has been around for a long time, and as early as the 1980s, Kunihiko Fukushima (later a professor at Osaka University), who was working at NHK's research institute at that time, called Neocognitron. Doing research.

1990 年 代 に は 産業 技術 総合 研究 所 の 野田 五十 樹 氏 や 、 ドワンゴ 人工 知能 研究 所 所長 の 山川 宏 氏 も 同じ ような こと を 考えて いた 。 とし|だい|||さんぎょう|ぎじゅつ|そうごう|けんきゅう|しょ||のだ|ごじゅう|き|うじ|||じんこう|ちのう|けんきゅう|しょ|しょちょう||やまかわ|ひろし|うじ||おなじ||||かんがえて| In the 1990s, Isaki Noda of the National Institute of Advanced Industrial Science and Technology (AIST) and Hiroshi Yamakawa, Director of Dwango's Artificial Intelligence Laboratory, were thinking along similar lines.

私 も 2000 年 ごろ から 「 どう 考えて も この やり 方 しか ない はずだ 」 と 思って 、 ずっと どう やれば できる の か を あれこれ 試みて きた 。 わたくし||とし||||かんがえて||||かた|||||おもって|||||||||こころみて| I have been thinking "This should be the only way" since 2000. I've been trying to figure out how to do this for a long time.

先 述 の ジェフ ・ ホーキンス 氏 は 、 シリコンバレー に 自分 で レッドウッド 神経 科学 研究 所 と いう 施設 まで つくった ( 現在 は カリフォルニア 大学 バークレー 校 の 下 に ある )。 さき|じゅつ||||うじ||||じぶん|||しんけい|かがく|けんきゅう|しょ|||しせつ|||げんざい||かりふぉるにあ|だいがく|ばーくれー|こう||した|| The aforementioned Jeff Hawkins even built his own institution, the Redwood Neuroscience Institute, in Silicon Valley (now under the University of California, Berkeley).

だが 、「 どう 考えて も この やり 方 しか ない 」 はずな のに 、 どうしても うまく いか なかった 。 ||かんがえて||||かた|||||||| But, "This is the only way to do it, no matter how you look at it." I was sure I could do it, but it just didn't work out.

それ が 、2006 年 に トロント 大学 の ヒントン 氏 が 研究 論文 で 実証 して 見せ ( その 前後 に 同じ ような 考え 方 で 結果 が 出て いる 研究 も たくさん ある し 、 実は 、 教師 なし データ を 使って 教師 あり 学習 の 精度 を 上げる と いう アイデア 自体 は 、 かなり 古くから ある )、2012 年 に は 、 コンペティション で 圧勝 する こと に よって 、 ついに 多く の 人 の 目 に 触れる 形 で 、 その すご さ が 伝わった 。 ||とし||とろんと|だいがく|||うじ||けんきゅう|ろんぶん||じっしょう||みせ||ぜんご||おなじ||かんがえ|かた||けっか||でて||けんきゅう|||||じつは|きょうし||でーた||つかって|きょうし||がくしゅう||せいど||あげる|||あいであ|じたい|||ふるくから||とし|||||あっしょう||||||おおく||じん||め||ふれる|かた||||||つたわった This was demonstrated in a research paper by Hinton at the University of Toronto in 2006 (there are many studies that came out with similar results, and in fact, the idea of using unsupervised data to improve the accuracy of supervised learning itself is quite old), and in 2012, it was shown, In 2012, by winning the competition by a landslide, the idea finally became widely known to a large number of people.

その後 の 投資 合戦 、 期待 感 の 高まり は 前述 の 通り である 。 そのご||とうし|かっせん|きたい|かん||たかまり||ぜんじゅつ||とおり| The ensuing investment battle and rising expectations were as noted above.

いまに なって わかる の は 、 考え 方 は 間違って い なかった 。 |||||かんがえ|かた||まちがって|| I know now that I was not wrong.

ただ 、 やり 方 が 違った のだ 。 ||かた||ちがった| It was just the wrong way to do it.

実は 、 こうした 特徴 量 や 概念 を 取り出す と いう こと は 、 非常に 長 時間 の 「 精錬 」 の 過程 を 必要 と する 。 じつは||とくちょう|りょう||がいねん||とりだす|||||ひじょうに|ちょう|じかん||せいれん||かてい||ひつよう|| In fact, extracting these quantities and concepts is a very long process of "refinement. The process requires a

何度 も 熱して は たたき上げ 、 強く する ような プロセス が 必要である 。 なんど||ねっして||たたきあげ|つよく|||ぷろせす||ひつようである The process must be such that it is repeatedly heated up and strengthened.

それ が 、 得られる 特徴 量 や 概念 の 頑健 性 ( ロバスト 性 と も 呼ぶ ) に つながる 。 ||え られる|とくちょう|りょう||がいねん||がんけん|せい||せい|||よぶ|| This leads to the robustness (also called robustness) of the feature values and concepts obtained. その ため に どういう こと を やる か と いう と 、 一見 する と 逆説 的だ が 、 入力 信号 に 「 ノイズ 」 を 加える のだ 。 |||||||||||いっけん|||ぎゃくせつ|てきだ||にゅうりょく|しんごう||||くわえる| What we do to achieve this is, seemingly paradoxically, to add "noise" to the input signal. The first is to add

ノイズ を 加えて も 加えて も 出て くる 「 概念 」 は 、 ちょっと や そっと の こと で は ぐらつか ない 。 ||くわえて||くわえて||でて||がいねん|||||||||| The "concept" that comes out with or without noise does not wobble with a little bit of softness.

その 結果 、 たまたま 一致 して いる だけ で 、「2 つ の 県 の 天気 が 似て いる 」 と 認識 されて しまう のだ 。 |けっか||いっち|||||||けん||てんき||にて|||にんしき|さ れて|| The result is that the weather in the two prefectures is similar, just that they happen to coincide. The "good" is perceived as the "bad". そこ で 、 ノイズ を 加える 。 ||||くわえる Then add noise.

ある 地点 の 天気 を ちょっと ズラ す のである 。 |ちてん||てんき||||| The weather at a particular location is shifted slightly.

晴れ は くもり に 、 くもり は 晴れ か 雨 に 、 雨 は くもり に 。 はれ||||||はれ||あめ||あめ||| Sunny turns to cloudy, cloudy turns to sunny or rainy, and rainy turns to cloudy.

サイコロ を 振って 、 偶数 の 目 が 出れば 天気 を ズラ す 、 と して も よい 。 ||ふって|ぐうすう||め||でれば|てんき||||||| You may roll the dice and shift the weather if you get an even number.

その 結果 、「 ちょっと 違う 」 天気 の データ が できる 。 |けっか||ちがう|てんき||でーた|| The result was, "Not quite right." Weather data is available.

この 天気 の データ も 、 もと の 天気 の データ と 同じ ような データ と して 扱う のである 。 |てんき||でーた||||てんき||でーた||おなじ||でーた|||あつかう| This weather data is treated as the same as the original weather data.

もともと 100 日間 の 天気 の データ が あった と して 、 ノイズ を 加える と 、 さらに 100 枚 の 天気 の データ が できる 。 |にち かん||てんき||でーた|||||||くわえる|||まい||てんき||でーた|| If there were originally 100 days of weather data, adding noise will produce another 100 pieces of weather data.

ノイズ の 加え 方 は ランダム だ から 、2 回 やる と 2 回 と も 違う 天気 の データ が できる 。 ||くわえ|かた|||||かい|||かい|||ちがう|てんき||でーた|| The noise is added randomly, so if you do it twice, you will get different weather data both times.

だから 、10 回 、100 回 と 繰り返して も よい 。 |かい|かい||くりかえして|| So, it may be repeated 10 or 100 times.

100 回 繰り返す と 、 もと の 100 枚 の 天気 の データ が 1万 枚 の 天気 の データ に 置き換えられる 。 かい|くりかえす||||まい||てんき||でーた||よろず|まい||てんき||でーた||おきかえ られる After 100 iterations, the original 100 pieces of weather data are replaced by 10,000 pieces of weather data. この 1万 枚 の 天気 の データ は 言って みれば 、「 ちょっと 違った かも しれ ない 過去 」 である 。 |よろず|まい||てんき||でーた||いって|||ちがった||||かこ| This 10,000 sheets of weather data is, let's say, "a little different than it might have been in the past." The first is

ある 地点 の 天気 が 、 実は 、 別の 世界 で は 晴れ で は なく くもり だった かも しれ ない 。 |ちてん||てんき||じつは|べつの|せかい|||はれ|||||||| The weather at one location may actually be cloudy instead of sunny in another world.

何 か ちょっと した 影響 で 、 ある 地点 で 雨 で 運動 会 が 中止 に なった の が 、 くもり で ギリギリ 開催 できた かも しれ ない 。 なん||||えいきょう|||ちてん||あめ||うんどう|かい||ちゅうし|||||||ぎりぎり|かいさい|||| Due to some influence, the athletic meet that was rained out at one location may have been held just in time because of the clear skies.

こうした 「 ちょっと 違った かも しれ ない 過去 」 の データ を たくさん つくる こと で 、 データ の 数 を 無理やり 増やす のだ 。 ||ちがった||||かこ||でーた||||||でーた||すう||むりやり|ふやす| These "maybe slightly different pasts." The number of data is increased by force by creating a large amount of data for the

そう する と 、 何 が 起こる の か 。 |||なん||おこる|| What will happen then?

「 ある 地点 と 別の 地点 の 天気 が たまたま 一致 して いた 」 と いう こと が なくなる 。 |ちてん||べつの|ちてん||てんき|||いっち||||||| "The weather at one location happened to coincide with the weather at another location." This will not be the case.

ちょっと 違った かも しれ ない 過去 を 含めて 計算 する ので 、「 たまたま 一致 」 と いう こと は ない 。 |ちがった||||かこ||ふくめて|けいさん||||いっち||||| Because the calculation includes past events that may have been slightly different, there is no "coincidental match." This is not the case.

一致 する なら 一致 する なり の 理由 が ある はずである 。 いっち|||いっち||||りゆう||| If there is a match, there should be a good reason for it.

ディープラーニング で は 、 このように 「 ちょっと 違った かも しれ ない 過去 」 の データ を たくさん つくり 、 それ を 使って 学習 する こと で 、「 絶対 に 間違い で は ない 」 特徴 量 を 見つけ出す 。 |||||ちがった||||かこ||でーた||||||つかって|がくしゅう||||ぜったい||まちがい||||とくちょう|りょう||みつけだす With deep learning, you can see that "the past might have been a little bit different." We have a lot of data on the "never wrong" and we can use it to learn. Find the feature values.

そして 、「 絶対 に 間違い で は ない 」 特徴 量 である が ゆえ に 、 その 特徴 量 を 使った 高次 の 特徴 量 も 見つける こと が できる のである 。 |ぜったい||まちがい||||とくちょう|りょう||||||とくちょう|りょう||つかった|こうじ||とくちょう|りょう||みつける|||| And, "It's never wrong." Because they are features, higher-order features can also be found using them.

このような 「 ちょっと 違った 過去 」 を 使えば いい と いう こと が 、 私 も わかって い なかった し 、 ほか の 研究 者 も わかって い なかった 。 ||ちがった|かこ||つかえば||||||わたくし||||||||けんきゅう|もの|||| This kind of "slightly different past." I did not understand, nor did other researchers.

1 個 1 個 の 抽象 化 の 作業 が 非常に 堅 牢 である こと に よって 、2 段 目 、3 段 目 と 積み上がった とき に も 効果 を 発揮 する 。 こ|こ||ちゅうしょう|か||さぎょう||ひじょうに|かた|ろう|||||だん|め|だん|め||つみあがった||||こうか||はっき| The abstraction process is so robust that it is effective on the second and third levels.

家 を 建てる とき に 、1 階 部分 が グラグラ して いれば 、2 階 、3 階 を 重ねて いく の は 無理 が ある 。 いえ||たてる|||かい|ぶぶん||ぐらぐら|||かい|かい||かさねて||||むり|| When building a house, if the first floor is wobbly, it is impossible to build the second and third floors.

2 階建て 、3 階建て の 家 を つくる に は 、 結局 、1 階 部分 を きわめて 頑健 に つくる 必要 が あった のだ 。 かいだて|かいだて||いえ|||||けっきょく|かい|ぶぶん|||がんけん|||ひつよう||| In order to build a two- or three-story house, it was necessary to make the first floor as robust as possible.

そして 、 ちょっと や そっと の こと で は 揺るが ない 頑健 性 を 獲得 する に は 、 実は 、 ものすごい 計算 機 パワー が 必要だ 。 ||||||||ゆるが||がんけん|せい||かくとく||||じつは||けいさん|き|ぱわー||ひつようだ And in order to acquire robustness that cannot be shaken by a little or a lot of things, actually, tremendous computing power is necessary.

たとえば 、 手書き 文字 の 認識 の 28 ピクセル ×28 ピクセル の 画像 は 、 画像 データ と して は 非常に 小さな サイズ だ が 、1 枚 の 画像 に つき 数 百 から 数 千 の ノイズ を 加えた だけ で 、 普通の パソコン で 計算 する のに 2 日 くらい かかる 。 |てがき|もじ||にんしき|||||がぞう||がぞう|でーた||||ひじょうに|ちいさな|さいず|||まい||がぞう|||すう|ひゃく||すう|せん||||くわえた|||ふつうの|ぱそこん||けいさん|||ひ|| For example, a 28 pixel x 28 pixel image for handwriting recognition is very small as image data, but adding hundreds to thousands of noises per image takes about two days to calculate on an ordinary PC.

もっと 解像度 の 高い 画像 で トレーニング しよう と 思う と 、2015 年 現在 の マシンスペック でも 、 GPU ( 画像 処理 ユニット ) が 入った サーバー を 数 台 以上 つなげて ようやく 精度 が 上がる レベル である 。 |かいぞうど||たかい|がぞう||とれーにんぐ|||おもう||とし|げんざい||||gpu|がぞう|しょり|||はいった|||すう|だい|いじょう|||せいど||あがる|れべる| If training with higher resolution images is desired, even with the current machine specifications in 2015, the accuracy will only improve by connecting several servers with GPUs (image processing units) or more.

グーグル の ネコ 認識 の 研究 で は 、 前述 の ように 、1000 台 の サーバー を 使って おり 、 これ は 金額 に して 100万 ドル (1億 円 ) 分 である (* 注 44)。 ||ねこ|にんしき||けんきゅう|||ぜんじゅつ|||だい||||つかって||||きんがく|||よろず|どる|おく|えん|ぶん||そそ Google's cat recognition research, as mentioned above, uses 1,000 servers, which amounts to $1 million (100 million yen) (*Note 44).

10 年 以上 前 の マシン で は 望む べく も なかった が 、 マシン パワー が 飛躍 的に 高まった 現在 に なって 、 ようやく 頑健 性 を 高める こと 、 それ に よって ニューラルネットワーク を 多 段 に して 、 高次 の 特徴 量 を 得る こと が 可能に なって きた のである 。 とし|いじょう|ぜん||ましん|||のぞむ|||||ましん|ぱわー||ひやく|てきに|たかまった|げんざい||||がんけん|せい||たかめる|||||||おお|だん|||こうじ||とくちょう|りょう||える|||かのうに||| Although this was not possible with machines more than 10 years ago, it is now possible to increase the robustness of the neural network and to obtain higher-order features by increasing the number of stages of the neural network, now that machine power has increased dramatically.

たとえば 、 ドロップ アウト と いって 、 ニューラルネットワーク の ニューロン を 一部 停止 さ せる 。 |どろっぷ|あうと|||||||いちぶ|ていし|| For example, dropout, which stops some of the neurons in a neural network.

隠れ 層 の 50% の ニューロン を ラン ダム に 欠落 さ せる のだ 。 かくれ|そう|||||らん|だむ||けつらく||| The idea is to make Random miss 50% of the neurons in the hidden layer.

言って みれば 、「 あなた が つくった 特徴 表現 の 中 で 、 今回 は 、 全国 、 日本 海 側 、 関東 、 四国 、 沖縄 の データ は 使えません 。 いって|||||とくちょう|ひょうげん||なか||こんかい||ぜんこく|にっぽん|うみ|がわ|かんとう|しこく|おきなわ||でーた||つかえ ませ ん In other words, "In the feature expressions you created, we cannot use data for the entire country, the Sea of Japan side, Kanto, Shikoku, and Okinawa this time. さあ 、47 都道府県 の 天気 を 予想 して ください 」 と いう 問題 を 解く のである 。 |とどうふけん||てんき||よそう|||||もんだい||とく| Now, predict the weather for each of the 47 prefectures. The purpose of this article is to solve the problem of how to solve the problem of "how to solve the problem".

その 結果 、 何 が 起こる か 。 |けっか|なん||おこる| What will happen as a result?

東北 地方 の 天気 に は 「 東北 」 の 項目 を 使えば いい と 思って いた のだ が 、 東北 の データ が 使え ない こと が ある わけだ 。 とうほく|ちほう||てんき|||とうほく||こうもく||つかえば|||おもって||||とうほく||でーた||つかえ||||| Weather in Tōhoku region is available by clicking "Tōhoku". I thought I could just use the Tohoku data, but there are some cases where the Tohoku data is not available.

そう する と 、 東北 の データ が 使え ない とき に も 、 東北 地方 の 天気 が ある 程度 予想 できる ように 、 ほか の 項目 を 工夫 する 必要 が ある 。 |||とうほく||でーた||つかえ|||||とうほく|ちほう||てんき|||ていど|よそう|||||こうもく||くふう||ひつよう|| This means that even when Tohoku data is not available, other items need to be considered so that the weather in the Tohoku region can be predicted to a certain extent.

太平洋 側 、 日本 海 側 と いう 項目 が あれば 少し 安心だ 。 たいへいよう|がわ|にっぽん|うみ|がわ|||こうもく|||すこし|あんしんだ I would feel a little safer if there were items for the Pacific side and the Sea of Japan side.

あるいは 、 日本 海 側 と いう 項目 が 使え ない とき の ため に 、 東北 と か 北陸 と いう 分け 方 で 持って おく こと も 重要だ 。 |にっぽん|うみ|がわ|||こうもく||つかえ||||||とうほく|||ほくりく|||わけ|かた||もって||||じゅうようだ It is also important to have a division between Tohoku and Hokuriku in case the Sea of Japan side is not available.

このように 、 ある 特徴 量 が ほか の 特徴 量 を カバー する ように 、 最適 化 されて いく 。 ||とくちょう|りょう||||とくちょう|りょう||かばー|||さいてき|か|さ れて| In this way, one set of features is optimized to cover another set of features. ある 特徴 量 に 過度に 依存 した 特徴 表現 が なくなる 。 |とくちょう|りょう||かどに|いぞん||とくちょう|ひょうげん|| Eliminates feature representations that are overly dependent on certain feature quantities.

そもそも 、 ある 特徴 量 だけ に 依存 し すぎる の は 危険だ 。 ||とくちょう|りょう|||いぞん|||||きけんだ In the first place, it is dangerous to rely too much on a single characteristic quantity.

つまり 、 一部分 の 特徴 量 を 使え なく する こと が 、 適切な 特徴 表現 を 見つける こと に 有効に 働く のである 。 |いちぶぶん||とくちょう|りょう||つかえ|||||てきせつな|とくちょう|ひょうげん||みつける|||ゆうこうに|はたらく| In other words, disabling a subset of features is effective in finding appropriate feature expressions.

ほか に も 、 ニューラルネットワーク に とって 、「 過酷な 環境 」 が いろいろ と 研究 されて いる 。 ||||||かこくな|かんきょう||||けんきゅう|さ れて| Another example is the "harsh environment" for neural networks. There has been a lot of research on the use of the "M" in the past. そこ まで いじめ 抜か ない と 、 データ の 背後 に 存在 する 「 本質 的な 特徴 量 」 を 獲得 でき ない のである 。 |||ぬか|||でーた||はいご||そんざい||ほんしつ|てきな|とくちょう|りょう||かくとく||| If you don't bully your way through the data, you'll find that there are "intrinsic quantities of character" that exist behind the data. The reason is that they are unable to acquire the "right" to work.

画像 認識 の 精度 が 上がら なかった の は 、 頑健 性 を 高める ため に いじめ 抜く と いう 作業 の 重要 性 ( 専門 的に 言う と 、 正則 化 の ため の 新しい 方法 ) に 気づいて い なかった ため 、 そして 、 そもそも マシン パワー が 不足 して でき なかった ため である 。 がぞう|にんしき||せいど||あがら||||がんけん|せい||たかめる||||ぬく|||さぎょう||じゅうよう|せい|せんもん|てきに|いう||まさのり|か||||あたらしい|ほうほう||きづいて||||||ましん|ぱわー||ふそく||||| The reason why the accuracy of image recognition did not improve was because the importance of the work of bullying out to increase robustness (technically speaking, a new method of regularization) was not realized, and also because the machine power was insufficient to do it in the first place.

科学 的な 発見 は いつも そう だ が 、 発見 されて しまえば 、 何という こと は ない 、 単純で 自明な こと だったり する 。 かがく|てきな|はっけん||||||はっけん|さ れて||なんという||||たんじゅんで|じめいな||| As is always the case with scientific discoveries, once they are made, they are often simple and obvious. 実際 、 多く の 研究 者 が 考えて いた 「 自己 符号 化 器 を ベース に 特徴 量 を 多 段 に して いけば よい 」 と いう 予想 は 正しかった のである 。 じっさい|おおく||けんきゅう|もの||かんがえて||じこ|ふごう|か|うつわ||べーす||とくちょう|りょう||おお|だん|||||||よそう||ただしかった| In fact, many researchers had thought, "We can increase the number of features based on a self-coder." The forecast was correct.

ところが 、 それ が 人工 知能 の 分野 で 長年 実現 でき なかった の は 、 コンピュータ が 概念 を 獲得 し ない まま 、 記号 を 単なる 記号 表記 と して のみ 扱って いた から だ 。 |||じんこう|ちのう||ぶんや||ながねん|じつげん|||||こんぴゅーた||がいねん||かくとく||||きごう||たんなる|きごう|ひょうき||||あつかって||| However, this has not been possible in the field of artificial intelligence for many years because computers have treated symbols only as symbolic representations, without acquiring concepts.

記号 を 「 概念 と 記号 表記 が セット に した もの 」 と して 扱って こ なかった 、 あるいは 扱う こと が でき なかった から である 。 きごう||がいねん||きごう|ひょうき||せっと||||||あつかって||||あつかう|||||| A symbol is "a combination of a concept and its symbolic representation." The reason is that we have not or could not treat them as

その ため に 、 現実 世界 の 中 から 「 何 を 特徴 表現 と する か 」 は 、 すべて 人間 が 決めて きた 。 |||げんじつ|せかい||なか||なん||とくちょう|ひょうげん||||||にんげん||きめて| To do this, we must ask ourselves, "What is the characteristic expression of the real world? The human race has made all the decisions.

決める しか なかった 。 きめる|| I had no choice but to decide.

コンピュータ の 能力 が いま ほど 高く なく 、 記号 を それ の もと に なる 低 次 の 情報 と あわせて 扱う こと など でき なかった から だ 。 こんぴゅーた||のうりょく||||たかく||きごう|||||||てい|つぎ||じょうほう|||あつかう|||||| Computers were not as powerful as they are today, and it was not possible to combine symbols with the lower-level information on which they were based.

そこ が すべて の 問題 の 根源 に なって いた 。 ||||もんだい||こんげん||| This was the root of all the problems.

ディープラーニング の 登場 は 、 少なくとも 画像 や 音声 と いう 分野 に おいて 、「 データ を もと に 何 を 特徴 表現 す べき か 」 を コンピュータ が 自動 的に 獲得 する こと が できる と いう 可能 性 を 示して いる 。 ||とうじょう||すくなくとも|がぞう||おんせい|||ぶんや|||でーた||||なん||とくちょう|ひょうげん|||||こんぴゅーた||じどう|てきに|かくとく|||||||かのう|せい||しめして| The emergence of deep learning, at least in the fields of image and sound, has been a major step forward in the quest to determine what features should be represented based on data. The possibility that a computer can automatically acquire the

簡単な 特徴 量 を コンピュータ が 自ら 見つけ出し 、 それ を もと に 高次 の 特徴 量 を 見つけ出す 。 かんたんな|とくちょう|りょう||こんぴゅーた||おのずから|みつけだし|||||こうじ||とくちょう|りょう||みつけだす The computer finds simple features on its own and uses them as a basis for finding higher-order features.

その 特徴 量 を 使って 表さ れる 概念 を 獲得 し 、 その 概念 を 使って 知識 を 記述 する と いう 、 人工 知能 の 最大 の 難関 に 、 ひと つ の 道 が 示さ れた のだ 。 |とくちょう|りょう||つかって|あらわさ||がいねん||かくとく|||がいねん||つかって|ちしき||きじゅつ||||じんこう|ちのう||さいだい||なんかん|||||どう||しめさ|| One way was shown to the greatest challenge of artificial intelligence, to acquire a concept expressed using its features and to describe knowledge using that concept.

もちろん 、 対象 は 画像 や 音声 だけ で は ない し 、 これ だけ で すべて の 状況 に おける 「 特徴 表現 の 問題 」 が 解決 さ れた と は とても 思え ない 。 |たいしょう||がぞう||おんせい|||||||||||じょうきょう|||とくちょう|ひょうげん||もんだい||かいけつ||||||おもえ| Of course, it's not just about images and sounds, and it's also about "feature representation" in all situations. I don't think that the problem has been solved.

しかし 、 きわめて 重要な ひと つ の ブレークスルー を 与えて いる の は 間違い ない 。 ||じゅうような||||||あたえて||||まちがい| However, there is no doubt that it provides a very important breakthrough.

「 人間 の 知能 が プログラム で 実現 でき ない はず が ない 」 と 思って 、 人工 知能 の 研究 は およそ 60 年 前 に スタート した 。 にんげん||ちのう||ぷろぐらむ||じつげん|||||||おもって|じんこう|ちのう||けんきゅう|||とし|ぜん||すたーと| "There's no reason human intelligence can't be programmed." Artificial intelligence research began about 60 years ago with the idea that "the world would be better off without artificial intelligence.

いま まで それ が 実現 でき なかった の は 、 特徴 表現 の 獲得 が 大きな 壁 と なって 立ちふさがって いた から だ 。 ||||じつげん|||||とくちょう|ひょうげん||かくとく||おおきな|かべ|||たちふさがって||| The reason this has not been possible until now is that the acquisition of feature expression has been a major obstacle.

ところが 、 そこ に ひと 筋 の 光明 が 差し 始めて いる 。 ||||すじ||こうみょう||さし|はじめて| However, a ray of hope is beginning to shine.

暗い 洞窟 の 先 に 、 いま まで 見え なかった 光 が 届き 始めた 。 くらい|どうくつ||さき||||みえ||ひかり||とどき|はじめた At the end of the dark cavern, a light began to reach us that we had not been able to see before.

でき なかった こと に は 理由 が あり 、 それ が 解消 さ れ かけて いる のだ と したら 、 科学 的 立場 と して は 、 基本 テーゼ に 立ち返り 、「 人間 の 知能 が プログラム で 実現 でき ない はず は ない 」 と いう 立場 を とる べきで は ない だろう か 。 |||||りゆう|||||かいしょう||||||||かがく|てき|たちば||||きほん|||たちかえり|にんげん||ちのう||ぷろぐらむ||じつげん||||||||たちば||||||| If there is a reason for the failure, and that reason is about to be resolved, then from a scientific standpoint, we should return to the basic thesis: "There is no reason why human intelligence cannot be programmed to be realized. The "I" in "I" should take the position of "I".

いったん 人工 知能 の アルゴリズム が 実現 すれば 、 人間 の 知能 を 大きく 凌 駕 する 人工 知能 が 登場 する の は 想像 に 難く ない 。 |じんこう|ちのう||||じつげん||にんげん||ちのう||おおきく|しの|が||じんこう|ちのう||とうじょう||||そうぞう||かたく| Once artificial intelligence algorithms are realized, it is not difficult to imagine the emergence of artificial intelligence that greatly surpasses human intelligence.

少なくとも 、 私 の 定義 で は 、 特徴 量 を 学習 する 能力 と 、 特徴 量 を 使った モデル 獲得 の 能力 が 、 人間 より も きわめて 高い コンピュータ は 実現可能であり 、 与えられた 予測 問題 を 人間 より も より 正確に 解く こと が できる はずである 。 すくなくとも|わたくし||ていぎ|||とくちょう|りょう||がくしゅう||のうりょく||とくちょう|りょう||つかった|もでる|かくとく||のうりょく||にんげん||||たかい|こんぴゅーた||じつげんかのうであり|あたえ られた|よそく|もんだい||にんげん||||せいかくに|とく|||| At least by my definition, a computer that is far more capable of learning features and acquiring models using features than humans is feasible, and should be able to solve a given prediction problem more accurately than humans. それ は 人間 から 見て も 、 きわめて 知的に 映る はずだ 。 ||にんげん||みて|||ちてきに|うつる| It should appear highly intelligent from a human point of view.

人間 の 脳 は 、 さまざまな 点 で 物理 的な 制約 が ある 。 にんげん||のう|||てん||ぶつり|てきな|せいやく|| The human brain is physically limited in many ways.

たとえば 普通の 人 より 脳 の サイズ が 10 倍 大きな 人 は 存在 し ない 。 |ふつうの|じん||のう||さいず||ばい|おおきな|じん||そんざい|| For example, there is no person whose brain is ten times larger than that of a normal person.

しかし コンピュータ の 場合 に は 、 コンピュータ 1 台 で できる こと は 、10 台 に すれば 10 倍 に 、100 台 に すれば 100 倍 に なる 。 |こんぴゅーた||ばあい|||こんぴゅーた|だい|||||だい|||ばい||だい|||ばい|| But in the case of computers, what can be done with one computer can be done 10 times with 10 computers, and 100 times with 100 computers.

人間 の 知能 レベル に なる と いう こと は 、 すなわち 人間 の 知能 を 超える と いう こと と 同じである 。 にんげん||ちのう|れべる||||||||にんげん||ちのう||こえる|||||おなじである To be at the level of human intelligence is the same as being beyond human intelligence.

特徴 表現 の 獲得 能力 が 、 言語 概念 の 理解 や ロボット など の 技術 と 組み合わせられる こと で 、 可能 性 と して は 、 すべて の ホワイトカラー の 労働 を 代替 し うる 技術 と なる 。 とくちょう|ひょうげん||かくとく|のうりょく||げんご|がいねん||りかい||ろぼっと|||ぎじゅつ||くみあわせ られる|||かのう|せい||||||||ろうどう||だいたい|||ぎじゅつ|| The ability to acquire feature representations, combined with technologies such as language concept comprehension and robotics, could potentially replace all white-collar labor.