一口气 搞清楚 ChatGPT (1)
你们 都 让 我 聊
我 真的 各种 私信 都 快 了
咱 就 聊聊
我 就 图 省事
咱 就 直接 问问 ChatGPT
能 不能 帮 我 写 一个 视频 大纲
你 看 哗哗哗
1234567 就 列出来 了
你 详细 说 一 说
第二 部分
你 看 有 1234 告诉 我
你 来 帮 我 写 一段 脚本
我 连 稿 都 不用 写 了
你 看 他 这 稿 你 也 不能 深究
我 要是 按 他 这个 讲
估计 每 两期 我 这 粉 就 该 掉光 了
不过
咱 先 刨开 它 这个 内容 质量 不 说
你 就 光 看 它 这个 文字 能力
你 问 它 什么
都 能 给 你 对答如流
还 说 得 有模有样 的
反而 是 把 我 给 震撼 到 了
又 是 拿 美国 的 医学 牌照
又 是 参加 司法 考试
又 能 写 小说 编 代码 查 资料
你 就 感觉
只要 能 用 文字 表达 的 事儿
它 全都 能 干
你 说 这 玩意儿
它 怎么 突然 就 横空出世 了
之前 也 有 聊天 机器人 儿
怎么 就 感觉 它 就要 颠覆 世界 了
让 资本 圈儿
好家伙 那个 兴奋
它 又 有 什么 问题 呢
巨头 们 又 如何 应对
它 到底 会 让 谁 失业 呢
小 Lin 虽然 不是 什么
人工智能 方面 的 专家
不过 今天 咱们 就 一起
把 这些 碎片 的 信息 都 给 串 起来
一 起来 聊 一 聊
关于 ChatGPT
你 需要 知道 的 那些 事儿
这个 聊天 机器人 儿
咱们 得 追溯 到 1950年
那 时候 号称 计算机科学 之 父
人工智能 之父 的 艾伦 · 图灵
发表 了 一篇
具有 划时代 意义 的 论文
他 提出 了 一个 很 有 哲理 的
叫做 模仿 游戏
也就是说 咱们 大名鼎鼎 的
那个 图灵 测试
就是说 当 你 在 不 面对面 的 时候
跟 人家 文字 聊天儿
你 能 不能 准确 地 判断 出来
对方 是 一个 人
还是 个 机器人 儿
如果 你 要是 很 难 分辨 出来
那 就 一定 程度 上
可以 说 这个 机器 它 是 智能 的
你 看 这 图灵 测试
是 不 是 又 简单 又 易懂
又 具体 而且 还 挺 有意思 的
所以 就 吸引 了
很多 计算机 方面 的 科学家
来 向 它 发起 冲击
不过 最 开始 的 时候
都 是 一些 非常 简单 的 指令
它 就是 通过 一些 语言 技巧
就是 小聪明
来 尽量 让 你 感觉 到
你 好像 是 在 跟 一个 人 对话
就 比如说 1966年 的 时候
MIT 实验室 里
就 发明 出来 一个 聊天 机器人 儿
叫 Eliza
这 开发者 就 很 聪明
他 给 Eliza 的 设定 是 个 心理 治疗师
你 看 这种 咨询师
一般 不 都 是 少 说话 多 倾听
所以 它 就 可以 问 人家 说
你 有 没 有 什么 想法
人家 布拉 布拉 说 一大 通
然后 它 又 问 说
你 昨天 休息 的 怎么样
人家 又 布拉布拉 说 一大通
它 少 说 就 少 错
所以 就 真的 让 人 误以为
它 在 倾听 然后 跟 你 沟通
而 其实 它 背后 就是 一些
非常简单 的 if...
then...的 代码
比如说 它 一 看到 说 "mother"
妈妈 这个 词 的 时候
它 就 会 跟 你 说
跟 我 说 说 你 的 家庭
就 类似 这种 的 关键词
大概 有 两百 来个
然后 到 了 三十年 之后 的
1995年
Eliza 又 出来 了 一个 后辈 叫 ALICE
它 就 进化 的 已经 很 强大 了
虽然 跟 ChatGPT 还 没法 比
但 就 很 日常 的 一些 对话
它 已经 都 可以 应付 了
不过 本质 上
不管 是 这个 Eliza 还是 ALICE
它 的 原理
都 是 基于 一个 叫做 Pattern Matching
就是 模式 匹配
听到 一个 关键词
它 就 会 调取 一个
已经 预设 好 的 预案
就 比如说 它 听见 你好
你 就 问 人家 说 吃 了 吗
它 听见 妈妈
它 就 说 跟 我 说 你 的 家庭
类似 这种
其实 即使 是 在 现在
一些 购物 网站
银行 什么 的 机器人 儿
它 基于 的
还是 这种 模式
就 比如说 你 跟 它 聊天
你 一 说到 退货
它 就 给 你 发 个 退货 流程
或者 你 一 说 ATM
它 就 给 你 发个 附近 ATM 的 地图
这种 匹配 模式
它 虽然 称不上 是 非常 的 智能
但 确确实实 减少 了 很多 那种
大量 人力 机械性 的 重复 回答
但 咱 就 从 智能 的 角度 讲
你 说 这种 限定 规则 的 机器人 儿
就算 你 的 规则 写 得 再 复杂
预设 再 多
也 不 可能 穷尽 所有 的 答案
它 更 不 可能 去 创造 新 的 答案
所以
你 要 真的 想 通过 那个 图灵 测试
想要 变成 真正 的 智能
单凭 这种 模式 匹配
是 不 可能 实现 的
于是 就 出现 了
语言 学习 里边 一个 新 的 流派
这个 也 是 人工智能 里边
非常 重要 的 一 部分
就是 机器 学习
顾名思义 它 的 基本 理念
就是 让 机器 去 学习
就是说 我 不 给 你 人为 规定
一些 规则 和 回答 了
就 给 你 一大堆 现成 的 例子
让 你 自己 去 学习 找 规律
听着 是不是 就 感觉 厉害 多 了
也 非常 符合
我们 对 学习 这个 逻辑 的 认知
基于 这个 理念
就 到 2001年
就 有 了 一个 叫做 SmarterChild
更 聪明 小孩
这么 个 机器人 就 火 出圈 了
那 为什么 火 呢
首先 它 用 了 一些 机器 学习 里边
当时 比较 先进 的 模型
来 让 聊天 变得 更 自然
而且 2000年 那会儿
不是 兴起 了 一大批 聊天 软件
什么 AOL Windows Yahoo
那个 SmarterChild
就 把 这些 平台 横扫 了 一遍
就 让 全世界 好几亿 人
都 可以 跟 它 对话
不管 你 问 它 什么
你 甭管 它 答得 怎么 样
总能 跟 你 聊上 两句
可以 算是 ChatGPT 的 大 前辈 了
你 说 这么 好玩 的 东西
那 立马 就 风靡 全球
吸引 了 超过 3000万 的 用户
跟 它 对话 聊天
它 每天 光 接收 的 信息
就要 超过 10亿条
被 各种 人 聊骚
直到 2007年 的 时候
它 被 一家 巨头 公司 给 收购 了
你 猜 是 谁
就是 微软
微软 在 那么 早 的 时候
就 已经 开始 觊觎 这个 领域 了
这个 更 聪明 小孩
虽然 已经 很 能 聊 了
但是 离 通过 图灵 测试
还有 很长 的 距离
就 你 跟 它 聊 两句 就 知道
那 就是 个 机器
好 咱们 继续 进步
到 了 2010年 的 时候
机器 学习 里边 的 一个 领域
开始 闪光 了
叫做 人工 神经 网络
ArtificialNeuralNetworks
你 看 我们 人 的 大脑
其实 是 靠
超过 100亿 个 神经元
通过 网状 链接
来 判断 和 传递 信息 的
虽然 这 每个 神经元 都 很 简单
但是 它们 组合 起来
就 可以 判断 非常 复杂 的 信息
所以 这个 人工 神经 网络
其实 就是 想 模拟 人脑 的
这种 形式
输入 信息 之后
就 会 经过 若干个
隐藏 神经 节点 的 判断
就 跟 神经元 似的
然后 给 你 输出 结果
其实 这个 神经网络 的 思想
早就 有 了
可以 追溯
甚至 可以 追溯 到 1960年代
但是 它 需要 两样 东西 做 支撑
大量 的 数据 和 强大 的 算力
而 这些 在 之前 都 是 不 具备 的
所以 这个 神经网络 的 事
就是 纸上 谈兵
到 了 2010年代
那 不 互联网 时代 了 嘛
数据 肯定 是 有 了
算力 呢
也 是 持续 指数 级别 的 提升
才 让 神经网络 这个
开始 能 应用 起来
人们 就 发现
这个 模式 真的 特别 适合 解决
就是 人们 一看 就 知道
就 凭 直觉 那种 事儿
就 比如说 你 看到 一张 脸
你 就 能 迅速 知道 他 是 谁
当然 刘强 东 除外
我 这 人脸 盲
脸盲
脸盲
我 根本 不 知道 她 漂 不 漂亮
你 想 之前 要是 让 电脑
判断 出 这个 人 是 谁
那 简直 太 难 了
但是 你 用 这个 神经网络
机器 学习 就 能 慢慢 摸索 出 规律
现在 它 的 应用 已经 非常 广 了
不光 是 人脸识别
像 声音 识别 自动 驾驶
包括 前 几年
下围棋 打败 柯洁 那个 AlphaGo
都 是 用 这 招 练 出来
所以 说 这个 神经网络
在 刚才 我们 说 那些 领域
都 可以 大展宏图
但 回到 文字 领域
它 发展 就 不 太 顺
那 为什么 呢
因为 这个 机器 学习
它 一般 都 是 用 一种
叫做 循环 神经 网络
就是 RNN 来 处理 文字 的
它 主要 的 方式
就是 按 顺序 一个 词 一个 词 看
一个 词 一个 词 处理
那 问题 就是
它 没法 同时 进行 大量 的 学习
而且 你 这 句子 也 不能 太 长
要不然 你 学到 后面 的 时候
前面 都 忘 了
直到 2017年 的 时候
谷歌 出 了 一篇 论文
提出 来 了 一个 新 的 学习 框架
叫做 Transformer
具体 的 机制 就 比较 复杂 了
那 肯定 也 不是 小 Lin 能 搞 明白 的
但 结果 就是 它 可以 让 机器
同时 学习 大量 的 文字
就 比如 原来 那些 字 你 得 挨个 学
就 跟 电路 串联 似的
现在 你 可以 同时 学
就 跟 并联 似的
这样 一下 那 训练 的 速度 效率
不 就 大大 提高 了
有 了 这个 Transformer
机器 在 文字 学习 方面
那 就 像 打通 了 任督 二 脉
现在 很多 自然语言 处理 模型
其实 都 是 建立 在
它 的 基础架构 之上 的
谷歌 那个 BERT 里头 的 T
包括 ChatGPT 的 T
都 是 指 这个 Transformer
好 你 看
现在 技术 方面
已经 有 非常 强 的 突破
万事 俱备
那 不 就 差 人 和 钱 了 吗
是 时候 是 ChatGPT 登场 了
就 在 2015年
包括 马斯克 彼得 ·蒂尔 在内
几个 大佬 一起 注资 了
10亿 美金
成立 了 一家 非营利 组织 叫 OpenAI
也 就是 ChatGPT 的 母公司
来 进行 AI 方面 的 研究
你 看 它 非盈利
就 说 我 不是 为了 赚钱
我 纯粹 是 为了
推动 这项 技术 的 发展
所以 它 的 研究成果 包括 专利
都 是 对外 公开 的
你 看 这个 投资人 里
咱们 是不是 听到 了
大家 都 非常 熟悉 的 马斯克
实际上 他 逐渐 发现
他 的 特斯拉 在 AI 方面
也 需要 大量 的 投入 研究
搞 自动 驾驶 什么 的
所以 就 为了 避免 特斯拉 跟 OpenAI
这 两家 公司 的 利益 冲突
他 就 在 2018年
也就是 OpenAI 成立 的 第三年
退出 了 董事会 就 拜拜 不 玩 了
所以 现在 这个 OpenAI
其实 跟 马斯克 已经 关系 不大 了
拜拜
而 OpenAI 这些 大牛们
也 确实 很 厉害
2017年
谷歌 不是 推出 了 那个 Transformer
他们 就 立马 在 这个 基础 上
研究 学习
2018年 发表 了 一篇 论文
介绍 了 一个 新 的 语言 学习 模型
之前 的 语言 学习 模型
它 基本 都 是 需要 人 去 监督
或者 人为 给 它 设定 一些 标签
但是 那个 GPT
就 基本 不怎么 需要 了
你 就 把 一堆 数据 放 进去
他 就 一顿 学 就 给 学 明白 了
反正 大概 就 这个 意思
OpenAI 就 在 2018年 6月
推出 了 第一代 GPT
接着 在 2019年 11月
又 增加 了 训练 的 数据量
推出 了 GPT-2
就 这种 机器 学习
它 其实 主要 就 拼 两件 事儿
一个 是 模型 一个 是 参 数量
模型 就是 决定 了 机器 怎么 学
同样 的 数据 我 进去
我 学 得 比 谁 都 快 比 谁 都 好
那 你 就 厉害
而 参 数量
它 其实 就 需要 大量 的 计算
所以 说白了 就是 要 砸 钱
就算 是 模型 再 好
它 也 得 靠 砸 钱 去 训练 和 验证
这 两者 缺一不可
OpenAI 团队
对 我 这个 模型 是 很 有 信心
那 下 一步 不 就 缺钱 了 吗
而 你 每 进步 一点
都 可能 需要
上升 一个 数量级 的 数据 去 支撑
那 这些
都 是 需要 真 金白银 去 支持 的
你 就 比如说 Google 那个 DeepMind
就是 研究 出来 AlphaGo 的 那个 公司
它 每年 开销 就 四五亿 美元
最 开始 OpenAI 这边
我们 不 说 投 了 10亿美元
那 根本 不够 花
注意
这时候 它 还是 个 非营利 组织
马斯克 也 退出 了 大腿 不在 了
之前 10亿美元 情怀 不够 了
我 上 哪 再 找 那么 多 情怀 去 是 吧
所以 迫于 资金 压力
OpenAI就 在 2019年
从 非营利 组织 转型 了
但是
它 没有 直接 变成 一个 盈利 组织
还是 得 要点 情怀
而是 变成 了 一个
叫做 收益 封顶 的 盈利 组织
它 什么 意思 呢
就是说 任何 投资人 的 投资 回报
都 不能 超过 100倍
超过 100倍 的 部分
投资人 就 拿不到 回报 了
就 都 归 OpenAI 自己 了
但是 我 就 好奇
