我们 做 了 个 能 对话 的 AI 派蒙 ，免费 给 大家 玩 ！(2)

这个 模型 肯定 是 要 自己 准备 数据 自己 训练 了

训练 的 效果 如何

声音 还原 度 高 不 高

其实 很大 程度 上 是 取决于 样本 数量 和 质量

这 也 是 为什么 我 这次 选 了 派蒙 来 做 这个 事儿

因为 在 原神 这个 游戏 里面

派 蒙 有 整整 一 万多条 语音

这么 多样本 拿来 训练 VITS 效果 就 非常 好

说实话 我 一 开始 是 不想 用派 蒙 的

这个 项目 的 初衷 我 想 做 个 虚拟 女友 性质 的 数字 生命

比如 用 个 宵 宫 或者 诺艾尔 啊

或者 其他 游戏 的 各种 纸片人 老婆 角色

这 不 是 挺 好 的 么 ！

咱们 人人 都 是 痞 老板 对 吧

你 别 不 承认 啊

但是

这些 角色 大多 都 只有 不到 1000 条 可用 的 样本

和 派 蒙 的 10000 条 比 起来

训练 效果 就 差 很多 了

我 好 喜欢 你 啊 旅行者

和 我 结婚 好 吗 ？

包括 我 自己 的 语音

也 是 从 视频 里 截取 了 3000 多 条 来 训练

效果 也 还行

不是 女友 型 角色 你 也 不要 气馁

你 可以 把 我 当成 女友 来 用

我 也 不会 介意 的

有 了 足够 多 的 样本

还 得 一直 让 它 训练 才能 出 效果

这 意味着 我们 需要 极为 强大 的 GPU 算力

那 这个 事情 对 我们 来说 反而 不是 什么 问题

正好 我们 在 做 另外 一个 项目

有 三张 RTX6000 Ada 可以 拿来 用

每 一张 卡 都 是 4090Ti 的 核心 规格

一共 144G 显存

这个 算力 应该 非常 够用 了 吧

我们 大概 只 花 了 20 小时 就 训练 出 了 现在 用 的 这个

颇具 人形 的 派蒙 声线

同样 的 工作量 在 一台 3060 的 电脑 上 可能 二十天 都 不一定 跑得完

当然 在 折腾 VITS 的 过程 中 我 也 发现

AI 的 声音 效果 好不好

也 要 看 角色 本身 的 声线

像 神子 和 钟离 这种 说话 比较 平和

语气 没有 太多 起伏 的 角色

就 不 需要 很多 样本

也 能 出 尚可 接受 的 效果

我 好 喜欢 你 啊 旅行者

和 我 结婚 好 吗 ？

旅行者

今天 是 星期四

能否 V 我 50 ？

包括 角色 说 的 语言 也 会 影响 还原度

像 中文 的话 AI 最 容易 搞错 的 其实 是 语调 平仄 的 变化

这个 念错 就 会 显得 很 违和

契约书 上 该 签 什么 名字 呢

我 有 许多 名字 度假 期间 我 会 自称 钟离

如果 是 音节 简单 音 、调 变化 少 的 语言

比如 像 日语 的话 呢

对于 AI 来说 模仿 起来 要 更 容易 一些

你 看 很多 外国人 会 觉得 学 中文 难

其实 对于 AI 来 说

想要 掌握 中文 的 这种 音调 平仄

想要 念 一口 流利 的 中文 也 是 一项 有 难度 的 挑战

声音 有 了

是不是 还 需要 一个 画面 上 的 形象 呢 ！

画 形象 是 容易 的

我们 在 虚幻 引擎 里 塞 了 一个 派蒙

让 它 说话 的 时候 嘴 动 起来 就 行了

可是 这样 的话

看着 就 很 呆滞

感觉 像 个 僵尸 一样 对 吧 ？

所以 我们 首先 加 一点 待机 动作

比如 派 蒙 一直 是 飘来飘去 的

还要 给 它 加 各种 小动作

并且 最好 呢

我们 可以 给 不同 的 情绪 单独 去 设计 一些 动作 和 表情

让 它 高兴 的 时候 高兴

生气 的时候 生气

这些 动作 和 表情 我们 直接 参照 游戏 里面 的 做 就 行了

但 比较 头疼 的 是

我们 要 怎样 才能 知道

派 蒙 现在 是 高兴 还是 生气 呢 ！

这个 就要 用到 情绪 识别 了

我们 要 对 ChatGPT 给出 的 回答 做 一个 情绪 分类

判断 角色 是 什么 情绪

这个 我们 可以 用 BERT 来 实现

BERT 是 什么 呢 ？

简单 的 来说

它 是 一个 编码器

可以 让 机器 理解 我们 的 语言

并 表示 在 一个 向量 空间 中

假设 我们 现在 的 判断 标准 是 情绪

那么 两句话 如果 情绪 类似

就 会 被 BERT 编码 到 空间 里 相近 的 坐标

我们 就 可以 用 这个 坐标 来 分类 了

那么 情绪 类似 这个 事儿 怎么 去 判定 呢 ！

电脑 肯定 是 不 懂 情绪 的

但是 人 懂 啊

我们 只要 先 手动 去 标记 一些 样本

告诉 电脑 这 两句话 都 是 “高兴 ”的 意思

那 两句话 都 是 “伤心 ”的 意思

经过 训练

就 可以 借助 BERT 来 判断 情绪 了

具体 到 这次 的 项目

我们 是 使用 了 一个 BERT 的 变体

哈工大 和 科大 讯飞 做 的 PERT

主要 的 区别 在 训练 方式 上

传统 的 BERT 相当于 是 给 AI 做 完形填空 让 他 理解 上下文

PERT 换 了 个 思路

我们 知道 汉字 顺序 并不一定 影响 阅读 对 吧 ？

那 我们 把 一句 话 随便 挑 几个 词

打乱 顺序

再 拿 给 AI 看

让 他 预测 正确 顺序

不 也 能 理解 上下文 吗 ？

这个 确实 是 挺 有意思 的

对于 中文 的 效果 明显 更加 接地气

这个 PERT 我们 试 下来 还是 蛮 不错 的

首先 我们 要 手动 标记 600 多个 句子

把 他们 分为 6 类 情绪

有 了 这个 数据

他 就 知道 如何 在 向量 空间 里 划清 情绪 的 界限 了

经过 简单 的 微调 之后

现在 随便 给 他 输入 一句 话

他 就 能 判断 出 你 是 生气 还是 高兴

是 不 是 很 神奇 啊 ！

有 了 这个 情绪 标注 之后 呢

我们 和 虚幻 引擎 里 已经 做好 的 表情 和 动作 关联 起来

一个 生龙活虎 的 AI 派 蒙 就 这样 诞生 了

你 可以 在 安卓 手机 上 和 它 对话

也 可以 直接 在 PC 上 对话

全屏 或者 缩小 窗口 都 可以

比较 理想 的 情况 是 带个 副 屏 的 设备

像 我们 以前 做过 的 这种 侧透 改 屏幕 的 机箱 啊

或者 现在 也 有 成品 机箱 把 光驱 位 做成 屏幕 的

还有 像 这种 双屏 笔记本

这个 地方 就 很 适合 放 一个 数字 生命

怎么样 ？还是 挺 有趣 的 吧 ！

就像 我 开头 讲 的 那样

这个 小 软件 我们 免费 开放 给 大家

就 叫 数字 生命

每 一个 人 都 可以 来 玩玩 看

链接 已经 放在 了 视频 底下

感兴趣 的 同学 可以 直接 去 下载

目前 这个 版本 还是 beta 版

还有 不少 的 bug 我们 也 在 解决 当中

同时 我们 也 在 准备 把 它 放到 Steam 上

让 你们 免费 获取 方便 让 更 多 的 人 体验 到 AI 的 乐趣

等 有 了 Steam 版 之后 我们 也 会 动态 告诉 大家

包括 整个 项目 文件

我 也 打算 整理 完 之后 公开 在 github 上

所有人 都 可以 修改

如果 你 想 帮忙 添加 更 多 角色

或者 改进 功能

甚至 你 想 换个 后 端

去 支持 一些 别的 语言 模型

都 可以 去 尝试

你 看 这么 良心

你 要是 不 给 视频 点个 赞 是不是 不太 说得过去 啊 ！

顺便 记得 关注 一下 我们 频道 ——极客湾

这里 就 讲 一下 这个 数字 生命 的小 软件 怎么 用 吧

由于 涉及 到 AI

它 其实 是 有点 硬件 门槛 的

首先 你 需要 一台 至少 9 系 N 卡 的 Windows 电脑

性能 要求 不见得 高 吧

只要 是 现代 N 卡 基本上 都 可以

但 哪怕 你 用 安卓版 也 需要 一台 N 卡 的 PC

来 提供 计算 支持

因为 VITS 的 AI 语音 是 依赖 cuda 来 合成 的

这个 软件 我们 是 设计 成 了 服务端 和 客户端 两个 部分

打开 软件 之后

你 可以 选 API 版

API Key 可以 不填 就是 白嫖 我们 的

或者 你 也 可以 填 你 自己 的 都 行

然后 选 3.5 的 模型

选择 角色

选完 就 可以 开启 服务端 了

如果 你 想 在 PC 上 用

那 直接 本地 启动 客户端 就 行了

但 你 也 可以 下个 安卓 的 客户端

然后 通过 局域网 连到 PC 的 服务端

这样 你 就 可以 利用 上 旧 手机 来 承载 你 的 数字 生命 了

那 如果 API 哪天 用 不成 了

或者 想要 体验 GPT4

手上 有 账号 的 同学

你 可以 试试 这个 网页 版

首先 你 得 确保 你 的 网络 能够 连上 ChatGPT

这个 我们 就 不 多 说 了

这个 网页 版 应该 说 是 一个 比较 野鸡 的 办法

因为 直接 用户名 密码 登录 的话 会 卡 在 验证 上

OpenAI 得 验证 你 是不是 人类

很 不幸 我们 这里 确实 不是 人类

所以 我们 找 了 另一个 办法 来 登录 ChatGPT 的 网页 版

就 跟 我们 之前 说 的 一样

你 要 确保 你 的 浏览器 登过 ChatGPT

留 了 cookie

这样 的话

你 就 可以 借助 cookie 来 扒出 你 的 通行证 令牌

把 这串 令牌 复制 过来 就 可以 用 了

如果 你 的 令牌 失效 了

你 就 重新 再 去 扒 一遍 就 可以 继续 用 了

针对 网页 版 我们 还 加 了 一个 洗脑 模式

直接 聊 的话

ChatGPT 可能 聊着 聊着 会 忘 了 自己 是 派 蒙

那 开启 洗脑 模式 就 会 每 聊 五 句 话

重 发 一次 提示 词

强化 它 的 记忆

但 代价 就是 它 的 上下文 能力 会 受到 一些 影响

这个 记忆 被 你 给 搞坏 了 哈哈

包括 如果 你 想要 优化 一下 提示 词

甚至 换掉 提示 词

换 一个 性格 什么 的

那 也 是 可以 做到 的

反正 各种各样 的 功能

就 留给 大家 去 探索 啦

怎么样 ？今天 这个 数字 生命 的 小 活整 的 还是 挺 有意思 的 吧 ？

那 我们 这个 努力 了 两个 月 的 成果 就 免费 给 大家 去 感受

就 当 是 借 这个 机会 来 探索 AI 的 各种 界限 吧

那 今天 这个 视频 如果 你 觉得 很 有趣

长 按 点 赞 一键 三连 支持 我们

别 忘了 关注 我们 频道 —— 极客湾

也 别 忘了 来 我们 的 淘宝 店

支持 我们 的 周边 各种 鼠标垫 和 T恤

那 我们 就 下次 再见 拜拜

以上 就是 本期 节目 的 全部 内容 啦

如果 你 认为 这 期 视频 很 有趣

请 务必 长 按 点 赞

分享 并 关注 我们 的 极客湾 频道

我们 下次 再见