×

我们使用cookies帮助改善LingQ。通过浏览本网站,表示你同意我们的 cookie 政策.


image

李永乐老师 Youtube, 智能汽车如何眼观六路、耳听八方?传感器融合与卡尔曼滤波技术

智能 汽车 如何 眼观六路 、耳听八方 ?传感器 融合 与 卡尔曼滤波 技术

各位 同学 大家 好 我 是 李永乐 老师 前 一段时间 我 讲 了 一期 关于 自动 驾驶 的 话题 有 小朋友 就 跟 我 说 他 最近 就 买 了 一辆 自动 驾驶 的 汽车 小鹏 P7 它 拥有 多个 摄像头 毫米波 雷达 超声波 雷达 分米级 的 高德 地图 以及 厘米 级 的 高精度 定位 还有 互为 冗余 的 双 计算 平台 他 想 问 我 这么 一大堆 听不懂 的 名词 到底 是 什么 意思 呢 今天 我们 就 来 聊 一聊 小鹏 汽车 的 NGP 自动 导航 辅助 驾驶 功能 为了 聊 这个 话题 我们 首先 来讲 一讲 传感器 的 融合 传感器 融合 我们 在 上 一次 讲 自动 驾驶 的 时候 说 过 一个 汽车 要 想 自动 驾驶 的话 它 必须 能够 自动 地 感知 外界 的 环境 同时 进行 决策 以及 执行 在 感知 的 层面 就 需要 一大堆 传感器 进行 配合 汽车 的 传感器 就 相当于 人 的 感官 人 的 感官 不 只有 一种 比如说 亚里士多德 说 人 的 感官 有 五种 就是 眼睛 鼻子 舌头 耳朵 还有 身体 分别 对应 了 视觉 嗅觉 味觉 听觉 还有 触觉 是 吧 每 一种 感觉 都 有 它 的 特点 比如说 大部分 情况 下 视觉 的 范围 是 比较 广泛 的 但是 如果 你 遇到 了 雨雪 天气 也许 听觉 能为 我们 提供 更 准确 的 信息 只有 几种 感官 相互配合 人们 才能 准确 地 判断 外界 的 环境 那么 对于 汽车 来讲 同样 是 如此 使用 一种 传感器 不能 准确 地 判断 外界 环境 所有 的 自动 驾驶 汽车 必须 使用 多种 传感器 相互配合 这 就是 所谓 的 传感器 融合 技术 它 能够 让 汽车 眼观六路 耳听八方 回答 两个 重要 的 问题 那 就是 我 周围 有 什么 以及 我 在 哪里 我们 首先 来看 第一个 问题 说 汽车 可以 通过 传感器 回答 说 自己 的 周围 到底 有 什么 这个 话题 是 吧 一般来讲 在 具有 高级 自动 驾驶 功能 的 汽车 上 它 在 高速行驶 的 时候 有 三种 传感器 发挥 了 这个 作用 这 三种 传感器 分别 是 激光雷达 以及 以前 我们 讲过 的 叫 毫米波 雷达 毫米波 雷达 还有 就是 摄像头 摄像头 每 一种 传感器 都 有 自己 不同 的 特点 我们 来 解释一下 画个 表格 表格 画 完 了 我们 首先 来说 一说 激光雷达 激光雷达 的 原理 就是 发射 一束 激光 遇到 障碍物 然后 反射 接收 到 回波 计算 发射 和 接收 的 时间差 从而 判断 障碍物 的 距离 激光雷达 又 分为 两种 有 一种 叫 机械式 激光雷达 就是 它 可以 向 不同 的 方向 360 度 的 旋转 然后 扫描 是 吧 这样 就 可以 判断 说 周围 的 障碍物 离 自己 都 有 多 远 了 可以 获得 一个 3D 点阵 就 可以 勾绘 出 周围 的 这个 情况 还有 另外 一种 激光雷达 叫做 固体 激光雷达 它 就是 由 很多 个 光源 形成 一个 阵列 通过 调相 的 方法 就 可以 实现 向 不同 的 方向 发射 激光 它 不 需要 旋转 而且 这种 雷达 它 相比 来讲 造价 比较 低 这个 寿命 也 比较 长 可能 是 未来 激光雷达 的 这个 发展 方向 激光雷达 有 很多 很 好 的 特征 比如说 首先 它 的 定位 非常 准确 它 可以 准确 地 判断 这个 障碍物 离 我们 有多远 而且 是 什么 方向 的 它 都 可以 准确 地 判断 出来 同时 激光雷达 是 自己 发出 电磁波 接收 回波 它 不 需要 有 外界 的 光 所以 夜晚 也 可以 使用 而且 激光 的 波长 很 短 它 可以 判断 这个 物体 的 表面 的 形状 是 吧 这个 物体 是 一个 平面 还是 一个 凸起 它 都 可以 判断 出来 我们 称之为 可以 3D 建模 但是 激光雷达 也 有 它 的 缺点 比如说 因为 激光 波长 比较 短 很难 穿透 雨雪 云雾 到 雨雪 云雾 的 天气 激光雷达 就 不能 用 了 对 吧 再 比如说 激光雷达 是 靠 发射 激光 接收 回波 测量 物体 的 距离 它 没有 办法 判断 这个 物体 是 红色 还是 绿色 的 是 吧 它 没有 办法 判断 物体 的 颜色 所以 它 看不出来 红绿灯 是 吧 而且 它 也 没有 办法 区分 哪个 车道 线 是不是 这是 激光雷达 的 一个 缺点 那么 为了 克服 这些 缺点 人们 还 需要 其他 雷达 比如说 毫米波 雷达 毫米波 雷达 和 激光雷达 原理 类似 它 只不过 波长 长 一些 它 也 可以 实现 比较 准确 的 定位 在 夜晚 也 可以 使用 它 还有 一个 优点 就是 因为 波长 长 可以 穿透 雨雪 是 吧 所以 也 称 它 为 全天候 雷达 白天 晚上 都 能 用 雨雪 天气 也 能 用 但是 它 也 有 缺点 首先 它 跟 激光雷达 一样 不 能够 区分 物体 的 颜色 而且 因为 它 波长 比较 长 就 没有 办法 准确 地 描绘出 这个 物体 到底 是 长 什么 样子 没有 办法 进行 3D 建模 这 是 它 的 一 缺点 那么 怎么办 呢 人们 又 提出 我们 还 可以 用 摄像头 摄像头 就 相当于 汽车 的 眼睛 它 跟 雷达 不 一样 雷达 是 发射 电磁波 接收 回波 而 这个 摄像头 它 只 接收 外界 的 光 信号 它 不 往外 发射 对 不 对 所以 它 的 特征 首先 它 可以 判断 颜色 对 吧 它 拍摄 了 很多很多 的 照片 然后 把 这些 照片 输入 计算机 进行 机器 学习 它 就 可以 知道 这个 是 红绿灯 那个 是 斑马线 这个 是 人 那个 是 车 对 吧 它 就 可以 知道 这些 信息 了 但是 摄像头 也 有 它 的 缺点 首先 来讲 晚上 没光 的 时候 摄像头 肯定 是 用 不了 的 对 不 对 雨雪 天气 这个 光 也 很 容易 被 遮挡 所以 也 没有 办法 判断 前方 的 物体 了 如果 你 是 双目 摄像头 你 倒 是 可以 进行 简单 的 定位 但是 摄像头 它 是 有 畸变 的 所以 它 的 定位 准确度 远远 没有 雷达 好 如果 是 单目 摄像头 那 就 没有 办法 实现 定位 了 同时 摄像头 也 没有 办法 进行 3D 建模 你 这样 一看 每 一种 传感器 其实 都 有 它 的 优点 和 它 的 缺点 所以 我们 得 把 多种 传感器 配合起来 使用 才 能够 准确 地 判断 出 外界 的 环境 你 比如说 你 用 这个 激光雷达 进行 定位 是 吧 定位 完 了 之后 用 它 勾勒 出 这个 物体 的 这个 形状 来 最后 我们 再用 这个 摄像头 进行 上色 我 就 可以 知道 是 什么 了 如果 摄像头 发现 前面 有 一只 老虎 结果 激光雷达 判断 这是 一个 平面 的 是 吧 那 我们 就 可以 知道 这是 一张 老虎 的 年画 我 就 可以 准确 地 进行 判断 了 那小鹏 P7 就是 利用 了 这样 的 技术 它 有 5 个 毫米波 雷达 还有 14 个 摄像头 进行 融合 那 自动 驾驶 汽车 除了 要 知道 周围 有 什么 以外 还有 一个 就是 自己 在 哪里 或者说 要 实现 这个 高精度 的 定位 那 我们 现在 定位 用 导航 是不是 我们 用 手机 打开 百度 地图 或者 高德 地图 我们 就 可以 导航 了 那种 地图 它 叫 导航 级 地图 导航 级 地图 精确度 不高 大概 是 米级 就是说 我们 使用 导航 级 地图 它 的 误差 在 几米 的 这个 量级 我 没有 办法 区分 自己 的 汽车 到底 是 在 主 路上 还是 在 辅 路上 到底 是 在 第一条 车道 还是 在 第二条 车道 那么 这种 导航 及 地图 其实 对于 自动 驾驶 汽车 是 不够 的 自动 驾驶 汽车 必须 使用 高精度 的 地图 高精 地图 这个 高精 地图 要 精到 什么 程度 呢 要 能够 对 汽车 进行 分米级 甚至 厘米 级 的 这种 定位 它 的 误差 要 在 分米 甚至 是 厘米 的 量级 那 怎么 才能 做到 这么 高 的 精度 呢 我 给 大家 介绍 一下 这个 方法 首先 我们 知道 一个 汽车 上面 它会 有 一些 这个 定位 的 模块 它 可以 和 这个 卫星 进行 联络 比如说 我们 可以 用 GPS 或者 北斗 这个 导航系统 用 这个 导航系统 跟 卫星 进行 联络 理论 上 来讲 四颗 卫星 就 可以 把 你 定位 了 这 就是 第一步 就是 通过 这个 北斗 或者 GPS 我们 可以 进行 定位 但是 这样 定位 它 是 存在 一定 的 误差 的 比如说 因为 云雾 的 影响 造成 的 这个 光速 的 变化 等等 会 有 误差 那么 这个 误差 怎么办 呢 我们 可以 在 地面 上 建立 一系列 的 基站 进行 校准 我们 不光 要 你 和 这个 卫星 联络 你 还要 和 地面 的 基站 进行 校准 联络 很多 公司 就 做 这个 事 比如说 像 这个 千寻 定位系统 千寻 定位 就是 在 地面 上 安装 了 一大堆 的 基站 这样 它 就 可以 提高 你 定位 的 精度 比如说 像 导航系统 只能 给 你 达到 米 量级 而 这个 千寻 定位 就 可以 辅助 你 达到 分 米 量级 的 定位 但是 我们 怎么样 才能 进一步提高 这个 定位 的 精度 呢 还有 方法 比如说 像 这个 高德 地图 他 做 这个 高精度 地图 的 方法 是 这样 的 首先 他 在 做 地图 的 时候 他 就 会派 一辆 带有 这个 激光雷达 的 汽车 上路 这个 激光雷达 的 汽车 它 就 会 把 周围 的 环境 都 拍下来 周围 可能 有 什么 呢 周围 可能 有 一个 比如说 一个 房子 也 可能 是 有 一棵 大树 也 可能 这边 有 一个 红绿灯 也 可能 这边 还有 一个 什么 花坛 之类 的 那么 这些 东西 都 会 被 这个 激光雷达 拍摄 下来 拍摄 下来 之后 它 就 把 这个 数据 都 记录下来 了 然后 放到 这个 高精 地图 上面 是 吧 这个 就是 高德 的 这个 高精 地图 然后 当 我们 的 这个 自动 驾驶 汽车 去 使用 这个 地图 的 时候 它 自动 驾驶 汽车 不是 也 有 这些 传感器 吗 它 也 会 拍摄 周围 的 环境 它会 把 周围 的 环境 再 和 高精 地图 中 已经 拍摄 好 的 这个 环境 进行 对比 它 一 对比 就 知道 了 你 看 我 现在 在 主 路上 我 在 辅 路上 我 在 第一条 道 还是 在 第二条 道 我 就 可以 达到 厘米 的 量级 了 这个 小鹏 汽车 就 采用 了 这样 的 一个 技术 首先 通过 这个 定位系统 以及 这个 千寻 定位系统 达到 了 一个 分米级 的 定位 然后 再 通过 这个 高精 地图 跟 周围 的 环境 进行 比对 达到 这个 厘米 级 的 定位 这 就是 自动 驾驶 汽车 的 一个 定位 的 原理 那 刚才 我们 介绍 了 传感器 融合 的 作用 但 传感器 究竟 是 怎么 融合 到 一块 的 呢 这是 一个 很 复杂 的 技术 问题 举个 例子 来讲 不同 的 传感器 它们 的 获得 信息 是 不 一样 的 这 里面 面临 两个 方面 的 问题 第一个 问题 叫做 空间 定标 就是 你 不同 的 传感器 你 是 安装 在 车上 不同 的 位置 的 所以 角度 也 不 一样 这样 你 会 看到 不同 的 情景 拍摄 到 不同 的 画面 你 怎么 通过 空间 坐标 的 方法 把 这些 个 画面 给 融合 到 一块 这 就 叫 空间 定标 是 吧 第二个 是 时间 定标 每 一个 传感器 它 对 外界 环境 的 感知 频率 不 一样 比如说 摄像头 它 可能 每秒钟 拍摄 25 张 照片 而 这个 毫米波 雷达 它 可能 每秒钟 只是 探测 10 次 这样一来 摄像头 拍照片 的 时候 可能 这个 毫米波 雷达 没有 信息 传 回来 所以 我要 通过 一些 方法 把 这个 不同 时间 的 信号 又 把 它 融合 起来 这个 就 叫 所谓 的 时间 定标 除了 空间 定标 和 时间 定标 以外 更为重要 的 是 有 的 时候 传感器 获得 的 信息 是 彼此 矛盾 的 比如说 摄像头 告诉 我们 前方 有 一堵 墙 而 毫米波 雷达 告诉 我们 前面 是 个 斜坡 我们 到底 相信 谁 呢 比如说 定位系统 告诉 我们 现在 在 主 路上 但是 这个 雷达 告诉 我们 现在 我们 在 辅 路上 我们 又 该 相信 谁 呢 因为 每 一种 传感器 它 都 是 有 误差 的 所以 这样 的 矛盾 是 每时每刻 都 在 发生 的 我们 该 怎么办 呢 这里 我们 就 不得不 提 一位 在 工程界 家喻户晓 的 人物 了 他 是 一位 出生 在 奥地利 的 美国 数学家 和 工程师 名字 叫做 鲁道夫 · 卡尔曼 他 提出 了 卡尔曼滤波 卡尔曼滤波 曾经 帮助 阿波罗 飞船 登上 了 月球 现在 也 在 每时每刻 都 在 帮助 我们 的 GPS 导航系统 我们 利用 卡尔曼滤波 就 可以 把 不同 传感器 的 信息 融合 到 一块 了 我们 举 一个 例子 比如说 我们 通过 定位系统 比如 GPS 定位 或者 是 什么 其他 的 定位系统 我们 知道 了 这个 汽车 的 位置 这个 位置 就是 z₁ 我 告诉 你 汽车 是 在 z₁ 的 位置 但是 因为 GPS 是 有 误差 的 它 不能 准确 地 告诉 你 在 什么 位置 而 只能 告诉 你 在 一个 范围 内 它 还有 一个 误差 或者说 方差 σ₁² z₁ 只是 表示 你 可能 在 的 位置 中 的 这个 平均 位置 或者 叫 期望 而 这个 σ₁² 就 代表 了 你 的 误差 大小 如果 这个 σ₁² 特别 特别 小 就 表示 你 的 定位 特别 准确 σ₁² 特别 大 就 表示 你 的 定位 不太 准确 误差 特别 大 一般来讲 我们 认为 这个 GPS 定位 也好 其他 的 定位 也好 它 的 这个 误差 情况 都 满足 一个 高斯分布 或者 正态分布 以前 我们 讲过 高斯分布 是 什么 意思 呢 画 一个 图像 纵坐标 表示 的 是 概率密度 就 出现 在 某 一个 位置 的 概率密度 横坐标 是 表示 你 的 位置 如果说 GPS 告诉 我们 你 的 位置 是 以 z₁ 为 平均 位置 而 标准差 是 σ₁ 我们 可以 画出 一个 图像 来 它 就 长 这个 样子 是 吧 它 这个 最大 概率 的 位置 就是 z₁ 这个 图像 就 告诉 我们 你 的 位置 最有 可能 是 在 z₁ 的 位置 你 离 z₁ 位置 越近 你 出现 的 概率 就 越 大 你 离 z₁ 位置 越远 你 出现 的 概率 就 越 小 如果 这个 函数 特别 的 瘦高 那 就 意味着 你 给 我 的 信息 特别 准确 你 分布 的 位置 都 是 在 z₁ 附近 的 如果 这个 函数 特别 的 矮胖 那 就 说明 你 误差 特别 大 我 也 不 太 清楚 你 到底 是 在 什么 位置 这 就是 所谓 的 这种 高斯分布 或者说 正态分布 这里 边 的 这个 σ 其实 就 表示 它 瘦高 还是 矮胖 的 程度 如果 σ 特别 小 那 这个 函数 就 特别 瘦高 就 表示 比较 准确 σ 特别 大 就 说明 你 比较 矮胖 好 总而言之 这个 GPS 定位 告诉 了 我们 这个 位置 的 信息 但是 我们 不是 还有 其他 传感器 吗 什么 雷达 什么 的 摄像头 我们 这些 传感器 它 也 可以 告诉 我们 位置 的 信息 比如 它 告诉 我们 汽车 的 位置 是 在 z₂ 而且 这个 方差 是 σ₂² 我 也 可以 再 画出 这个 传感器 告诉 我们 的 情况 比如说 它 有 可能 是 长 这个 样子 的 长 这个 样子 这个 样子 就 告诉 我们 传感器 认为 我们 的 位置 更加 靠前 一点 是不是 而且 传感器 提供 的 信息 可能 更加 准确 它 的 这个 标准差 σ₂ 比较 小 而 刚才 这个 GPS 告诉 我们 的 这个 标准差 σ₁ 它 是 比较 大 的 现在 我们 得到 两个 不同 的 信息 我们 如何 把 它 融合 到 一块 呢 这 卡尔曼 就 说 了 经过 数学计算 你 有 一个 最优 的 估计 最优 的 估计 最优 的 估计 是 什么 呢 那 就是 这有 一个 公式 这 公式 告诉 我们 你 最优 估计 的 位置 等于 什么 呢 =σ₂²z₁/(σ₁²+σ₂²)+σ₁²z₂/(σ₁²+σ₂²) 有 的 同学们 说 什么 乱七八糟 的 其实 这个 问题 并 不是 难 理解 的 咱们 仔细 看 z₁ 和 z₂ 是 两个 传感器 告诉 我们 的 位置 我们 最后 估计 的 位置 一定 是 要 把 它 融合 到 一块 得出 一个 结论 但是 谁 更 准确 我 就 更 相信 谁 你 看 这 两个 图像 你 就 应该 知道 这个 σ₂ 更 小 一些 说明 z₂ 这个 信息 更加 准确 所以 我 在 计算 权重 的 时候 我 应该 让 z₂ 的 这个 权重 更大 一些 我 怎么 才能 让 z₂ 的 权重 更大 一些 呢 我 让 它 前面 的 权重 是 σ₁²/(σ₁²+σ₂²) 你 σ₁ 比较 大 所以 这个 权重 就 大 大家 能 明白 吗 对 不 对 同样 道理 你 这个 z₁ 它 的 标准差 比较 大 说明 它 不是 那么 的 准确 所以 它 的 权重 就要 小 一些 是 吧 所以 你 可以 简单 地 理解 一下 这个 其实 就是 把 两个 数据 融合 到 一块 了 在 融合 的 时候 谁 准确 谁 的 权重 就 会 大 一些 同时 我 也 可以 知道 新 的 这个 方差 1/σ²=1/σ₁²+1/σ₂² 这 就是 卡尔曼 告诉 我们 的 最优 结论 你 会 发现 这个 新 的 标准差 的 平方 或者说 方差 它 是 比 原来 的 两个 方差 都 要 小 的 所以 最终 我们 会得 出来 一个 新 的 估计 情况 它 是 长 这个 样子 的 它 首先 它 的 均值 是 介于 两个 估计值 之间 的 而且 它 的 方差 比 两个 估计值 都 要 小 或者说 我们 获得 了 一个 更加 准确 的 估计 那么 假如 这辆 汽车 还有 其他 传感器 比如说 有 什么 速度计 加速度计 你 还 可以 继续 进行 卡尔曼滤波 这样 就 会 获得 一个 更加 准确 的 结果 了 我们 刚才 介绍 的 这个 模型 其实 是 最 简单 的 一个 卡尔曼滤波 模型 在 实际 的 情况 下 卡尔曼滤波 不光 是 多维 的 而且 还是 跟 时间 有关 的 它 是 一个 时续 的 我们 来看 一下 这个 卡尔曼滤波 它 在 航海 上 有 什么 应用 在 航海 上 应用 其实 人类 在 大 航海 时代 开始 的 时候 就 已经 在 不知不觉 中 使用 这种 滤波 的 方法 了 比如说 一个 有 经验 的 船长 他 在 t₁ 的 时刻 他会 有 一个 位置 他 知道 自己 的 位置 那么 他会 有 一个 航向 或者 是 航速 表 是 吧 他 有 航向 还有 航速 表 所以 他 通过 航向 和 航速 他 可以 估计 说 t₂ 的 时刻 它 有 一个 估计 的 位置 但是 他 并 不会 把 这个 位置 作为 最终 自己 的 位置 他会 怎么样 他会用 六分仪 去测 在 六分仪 测量 的 时候 它 又会有 一个 估计 的 位置 这 两个 估计 的 位置 可能 是 不 一样 的 于是 它会 怎么样 它会 通过 一定 的 方法 把 它 融合 起来 得到 t₂ 的 位置 那 现在 我们 就 知道 了 其实 你 最佳 的 融合 方法 就是 卡尔曼滤波 对 吧 你 t₂ 的 位置 有 了 之后 你 还 可以 继续 通过 航向 和 航速 对 不 对 你 还 可以 继续 得 出来 一个 估计 的 位置 然后 你 再 通过 六分仪 你 再 得到 一个 估计 的 位置 如此 你 把 这 两个 估计 的 位置 再 去 算 你 就 会 得到 t₃ 时刻 的 这个 最好 的 一个 估计 位置 所以 这 就是 在 航海 过程 中 经常 使用 的 一种 方法 它 的 原理 其实 跟 卡尔曼滤波 是 一样 的 多 传感器 融合 的 原理 同样 是 如此 就是 每 一种 传感器 它 提取 的 数据 获得 的 特征 以及 做出 的 判断 本质 上 都 是 一组 带有 误差 的 测量 值 那么 我们 可以 通过 卡尔曼滤波 的 方法 把 这些 测量 值 融合 起来 得到 一个 最 准确 的 结果 宇宙飞船 登月 的 时候 需要 通过 各种 方法 来 判断 自身 的 位置 修正 轨道 现在 的 自动 驾驶 汽车 也 要 通过 各种 传感器 来 给 自己 定位 同时 判断 周围 的 环境 所 使用 的 原理 其实 与 早期 的 航海家 是 一样 的 只不过 我们 现在 有 了 更加 高精尖 的 设备 以及 更好 的 数学 理论 中国 古人 说 兼听则明 偏听则暗 兼 听 就是 多 传感器 融合 从 兼 听到 明所 需要 的 就是 卡尔曼滤波 小鹏 汽车 NGP 就是 这样 通过 多 传感器 融合 和 卡尔曼滤波 技术 能够 对 自己 的 位置 和 周围 的 环境 做出 更加 准确 的 判断 从而 让 驾驶 变得 更加 安全 和 高效 大家 如果 喜欢 我 的 视频 可以 在 YouTube 帐号 李永乐 老师 里 订阅 我 点击 小 铃铛 可以 第一 时间 获得 更新 信息


智能 汽车 如何 眼观六路 、耳听八方 ?传感器 融合 与 卡尔曼滤波 技术 How Smart Cars See and Hear? Sensor Fusion and Kalman Filtering

各位 同学 大家 好 我 是 李永乐 老师 前 一段时间 我 讲 了 一期 关于 自动 驾驶 的 话题 有 小朋友 就 跟 我 说 他 最近 就 买 了 一辆 自动 驾驶 的 汽车 小鹏 P7 He recently bought a self-driving car Xiaopeng P7 它 拥有 多个 摄像头 毫米波 雷达 It has multiple cameras millimeter wave radar 超声波 雷达 分米级 的 高德 地图 Ultrasonic radar decimeter-level high-tech map 以及 厘米 级 的 高精度 定位 还有 互为 冗余 的 双 计算 平台 There are redundant dual computing platforms 他 想 问 我 这么 一大堆 听不懂 的 名词 到底 是 什么 意思 呢 今天 我们 就 来 聊 一聊 小鹏 汽车 的 NGP 自动 导航 辅助 驾驶 功能 Xiaopeng Automobile's NGP automatic navigation assisted driving function 为了 聊 这个 话题 我们 首先 来讲 一讲 传感器 的 融合 传感器 融合 Let's first talk about sensor fusion sensor fusion 我们 在 上 一次 讲 自动 驾驶 的 时候 说 过 一个 汽车 要 想 自动 驾驶 的话 它 必须 能够 自动 地 感知 外界 的 环境 同时 进行 决策 以及 执行 Simultaneous decision-making and execution 在 感知 的 层面 就 需要 一大堆 传感器 进行 配合 汽车 的 传感器 就 相当于 人 的 感官 人 的 感官 不 只有 一种 比如说 亚里士多德 说 人 的 感官 有 五种 就是 眼睛 鼻子 舌头 耳朵 还有 身体 分别 对应 了 视觉 嗅觉 味觉 听觉 还有 触觉 是 吧 每 一种 感觉 都 有 它 的 特点 比如说 大部分 情况 下 视觉 的 范围 是 比较 广泛 的 The scope of vision is relatively wide 但是 如果 你 遇到 了 雨雪 天气 也许 听觉 能为 我们 提供 更 准确 的 信息 只有 几种 感官 相互配合 人们 才能 准确 地 判断 外界 的 环境 那么 对于 汽车 来讲 同样 是 如此 使用 一种 传感器 不能 准确 地 判断 外界 环境 所有 的 自动 驾驶 汽车 必须 使用 多种 传感器 相互配合 这 就是 所谓 的 传感器 融合 技术 它 能够 让 汽车 眼观六路 耳听八方 It can let the car see all directions 回答 两个 重要 的 问题 那 就是 我 周围 有 什么 以及 我 在 哪里 我们 首先 来看 第一个 问题 说 汽车 可以 通过 传感器 回答 说 自己 的 周围 到底 有 什么 这个 话题 是 吧 一般来讲 在 具有 高级 自动 驾驶 功能 的 汽车 上 它 在 高速行驶 的 时候 有 三种 传感器 发挥 了 这个 作用 这 三种 传感器 分别 是 激光雷达 These three types of sensors are Lidar 以及 以前 我们 讲过 的 叫 毫米波 雷达 毫米波 雷达 还有 就是 摄像头 摄像头 每 一种 传感器 都 有 自己 不同 的 特点 我们 来 解释一下 画个 表格 表格 画 完 了 我们 首先 来说 一说 激光雷达 激光雷达 的 原理 就是 发射 一束 激光 遇到 障碍物 然后 反射 接收 到 回波 Encountered obstacles and then reflected and received the echo 计算 发射 和 接收 的 时间差 从而 判断 障碍物 的 距离 激光雷达 又 分为 两种 有 一种 叫 机械式 激光雷达 就是 它 可以 向 不同 的 方向 360 度 的 旋转 然后 扫描 是 吧 这样 就 可以 判断 说 周围 的 障碍物 离 自己 都 有 多 远 了 可以 获得 一个 3D 点阵 就 可以 勾绘 出 周围 的 这个 情况 还有 另外 一种 激光雷达 叫做 固体 激光雷达 它 就是 由 很多 个 光源 形成 一个 阵列 通过 调相 的 方法 就 可以 实现 向 不同 的 方向 发射 激光 它 不 需要 旋转 而且 这种 雷达 它 相比 来讲 造价 比较 低 这个 寿命 也 比较 长 可能 是 未来 激光雷达 的 这个 发展 方向 激光雷达 有 很多 很 好 的 特征 比如说 首先 它 的 定位 非常 准确 它 可以 准确 地 判断 这个 障碍物 离 我们 有多远 而且 是 什么 方向 的 它 都 可以 准确 地 判断 出来 同时 激光雷达 是 自己 发出 电磁波 接收 回波 它 不 需要 有 外界 的 光 所以 夜晚 也 可以 使用 而且 激光 的 波长 很 短 它 可以 判断 这个 物体 的 表面 的 形状 是 吧 这个 物体 是 一个 平面 还是 一个 凸起 它 都 可以 判断 出来 我们 称之为 可以 3D 建模 但是 激光雷达 也 有 它 的 缺点 比如说 因为 激光 波长 比较 短 很难 穿透 雨雪 云雾 到 雨雪 云雾 的 天气 激光雷达 就 不能 用 了 对 吧 再 比如说 激光雷达 是 靠 发射 激光 接收 回波 测量 物体 的 距离 它 没有 办法 判断 这个 物体 是 红色 还是 绿色 的 是 吧 它 没有 办法 判断 物体 的 颜色 所以 它 看不出来 红绿灯 是 吧 而且 它 也 没有 办法 区分 哪个 车道 线 是不是 这是 激光雷达 的 一个 缺点 那么 为了 克服 这些 缺点 人们 还 需要 其他 雷达 比如说 毫米波 雷达 毫米波 雷达 和 激光雷达 原理 类似 它 只不过 波长 长 一些 它 也 可以 实现 比较 准确 的 定位 在 夜晚 也 可以 使用 它 还有 一个 优点 就是 因为 波长 长 可以 穿透 雨雪 是 吧 所以 也 称 它 为 全天候 雷达 So it is also called all-weather radar 白天 晚上 都 能 用 雨雪 天气 也 能 用 但是 它 也 有 缺点 首先 它 跟 激光雷达 一样 不 能够 区分 物体 的 颜色 而且 因为 它 波长 比较 长 就 没有 办法 准确 地 描绘出 这个 物体 到底 是 长 什么 样子 没有 办法 进行 3D 建模 这 是 它 的 一 缺点 那么 怎么办 呢 人们 又 提出 我们 还 可以 用 摄像头 摄像头 就 相当于 汽车 的 眼睛 它 跟 雷达 不 一样 雷达 是 发射 电磁波 接收 回波 而 这个 摄像头 它 只 接收 外界 的 光 信号 它 不 往外 发射 对 不 对 所以 它 的 特征 首先 它 可以 判断 颜色 对 吧 它 拍摄 了 很多很多 的 照片 然后 把 这些 照片 输入 计算机 进行 机器 学习 它 就 可以 知道 这个 是 红绿灯 那个 是 斑马线 这个 是 人 那个 是 车 对 吧 它 就 可以 知道 这些 信息 了 但是 摄像头 也 有 它 的 缺点 首先 来讲 晚上 没光 的 时候 摄像头 肯定 是 用 不了 的 对 不 对 雨雪 天气 这个 光 也 很 容易 被 遮挡 所以 也 没有 办法 判断 前方 的 物体 了 如果 你 是 双目 摄像头 If you are a binocular camera 你 倒 是 可以 进行 简单 的 定位 但是 摄像头 它 是 有 畸变 的 所以 它 的 定位 准确度 远远 没有 雷达 好 如果 是 单目 摄像头 那 就 没有 办法 实现 定位 了 同时 摄像头 也 没有 办法 进行 3D 建模 你 这样 一看 每 一种 传感器 其实 都 有 它 的 优点 和 它 的 缺点 所以 我们 得 把 多种 传感器 配合起来 使用 才 能够 准确 地 判断 出 外界 的 环境 你 比如说 你 用 这个 激光雷达 进行 定位 是 吧 定位 完 了 之后 用 它 勾勒 出 这个 物体 的 这个 形状 来 最后 我们 再用 这个 摄像头 进行 上色 我 就 可以 知道 是 什么 了 如果 摄像头 发现 前面 有 一只 老虎 结果 激光雷达 判断 这是 一个 平面 的 是 吧 那 我们 就 可以 知道 这是 一张 老虎 的 年画 我 就 可以 准确 地 进行 判断 了 那小鹏 P7 就是 利用 了 这样 的 技术 它 有 5 个 毫米波 雷达 还有 14 个 摄像头 进行 融合 那 自动 驾驶 汽车 除了 要 知道 周围 有 什么 以外 还有 一个 就是 自己 在 哪里 或者说 要 实现 这个 高精度 的 定位 那 我们 现在 定位 用 导航 是不是 我们 用 手机 打开 百度 地图 或者 高德 地图 我们 就 可以 导航 了 那种 地图 它 叫 导航 级 地图 导航 级 地图 精确度 不高 大概 是 米级 就是说 我们 使用 导航 级 地图 它 的 误差 在 几米 的 这个 量级 我 没有 办法 区分 自己 的 汽车 到底 是 在 主 路上 还是 在 辅 路上 到底 是 在 第一条 车道 还是 在 第二条 车道 那么 这种 导航 及 地图 其实 对于 自动 驾驶 汽车 是 不够 的 自动 驾驶 汽车 必须 使用 高精度 的 地图 高精 地图 这个 高精 地图 要 精到 什么 程度 呢 要 能够 对 汽车 进行 分米级 甚至 厘米 级 的 这种 定位 它 的 误差 要 在 分米 甚至 是 厘米 的 量级 那 怎么 才能 做到 这么 高 的 精度 呢 我 给 大家 介绍 一下 这个 方法 首先 我们 知道 一个 汽车 上面 它会 有 一些 这个 定位 的 模块 它 可以 和 这个 卫星 进行 联络 比如说 我们 可以 用 GPS 或者 北斗 这个 导航系统 用 这个 导航系统 跟 卫星 进行 联络 理论 上 来讲 四颗 卫星 就 可以 把 你 定位 了 这 就是 第一步 就是 通过 这个 北斗 或者 GPS 我们 可以 进行 定位 但是 这样 定位 它 是 存在 一定 的 误差 的 比如说 因为 云雾 的 影响 造成 的 这个 光速 的 变化 等等 会 有 误差 那么 这个 误差 怎么办 呢 我们 可以 在 地面 上 建立 一系列 的 基站 进行 校准 我们 不光 要 你 和 这个 卫星 联络 你 还要 和 地面 的 基站 进行 校准 联络 很多 公司 就 做 这个 事 比如说 像 这个 千寻 定位系统 千寻 定位 就是 在 地面 上 安装 了 一大堆 的 基站 这样 它 就 可以 提高 你 定位 的 精度 比如说 像 导航系统 只能 给 你 达到 米 量级 而 这个 千寻 定位 就 可以 辅助 你 达到 分 米 量级 的 定位 但是 我们 怎么样 才能 进一步提高 这个 定位 的 精度 呢 还有 方法 比如说 像 这个 高德 地图 他 做 这个 高精度 地图 的 方法 是 这样 的 首先 他 在 做 地图 的 时候 他 就 会派 一辆 带有 这个 激光雷达 的 汽车 上路 这个 激光雷达 的 汽车 它 就 会 把 周围 的 环境 都 拍下来 周围 可能 有 什么 呢 周围 可能 有 一个 比如说 一个 房子 也 可能 是 有 一棵 大树 也 可能 这边 有 一个 红绿灯 也 可能 这边 还有 一个 什么 花坛 之类 的 那么 这些 东西 都 会 被 这个 激光雷达 拍摄 下来 拍摄 下来 之后 它 就 把 这个 数据 都 记录下来 了 然后 放到 这个 高精 地图 上面 是 吧 这个 就是 高德 的 这个 高精 地图 然后 当 我们 的 这个 自动 驾驶 汽车 去 使用 这个 地图 的 时候 它 自动 驾驶 汽车 不是 也 有 这些 传感器 吗 它 也 会 拍摄 周围 的 环境 它会 把 周围 的 环境 再 和 高精 地图 中 已经 拍摄 好 的 这个 环境 进行 对比 它 一 对比 就 知道 了 你 看 我 现在 在 主 路上 我 在 辅 路上 You see, I’m on the main road, I’m on the side road 我 在 第一条 道 还是 在 第二条 道 我 就 可以 达到 厘米 的 量级 了 这个 小鹏 汽车 就 采用 了 这样 的 一个 技术 首先 通过 这个 定位系统 以及 这个 千寻 定位系统 达到 了 一个 分米级 的 定位 然后 再 通过 这个 高精 地图 跟 周围 的 环境 进行 比对 达到 这个 厘米 级 的 定位 这 就是 自动 驾驶 汽车 的 一个 定位 的 原理 那 刚才 我们 介绍 了 传感器 融合 的 作用 但 传感器 究竟 是 怎么 融合 到 一块 的 呢 这是 一个 很 复杂 的 技术 问题 举个 例子 来讲 不同 的 传感器 它们 的 获得 信息 是 不 一样 的 这 里面 面临 两个 方面 的 问题 第一个 问题 叫做 空间 定标 The first problem is called spatial calibration 就是 你 不同 的 传感器 你 是 安装 在 车上 不同 的 位置 的 所以 角度 也 不 一样 这样 你 会 看到 不同 的 情景 拍摄 到 不同 的 画面 你 怎么 通过 空间 坐标 的 方法 把 这些 个 画面 给 融合 到 一块 这 就 叫 空间 定标 是 吧 第二个 是 时间 定标 每 一个 传感器 它 对 外界 环境 的 感知 频率 不 一样 比如说 摄像头 它 可能 每秒钟 拍摄 25 张 照片 而 这个 毫米波 雷达 它 可能 每秒钟 只是 探测 10 次 这样一来 摄像头 拍照片 的 时候 可能 这个 毫米波 雷达 没有 信息 传 回来 所以 我要 通过 一些 方法 把 这个 不同 时间 的 信号 又 把 它 融合 起来 这个 就 叫 所谓 的 时间 定标 除了 空间 定标 和 时间 定标 以外 更为重要 的 是 有 的 时候 传感器 获得 的 信息 是 彼此 矛盾 的 比如说 摄像头 告诉 我们 前方 有 一堵 墙 而 毫米波 雷达 告诉 我们 前面 是 个 斜坡 我们 到底 相信 谁 呢 比如说 定位系统 告诉 我们 现在 在 主 路上 但是 这个 雷达 告诉 我们 现在 我们 在 辅 路上 我们 又 该 相信 谁 呢 因为 每 一种 传感器 它 都 是 有 误差 的 所以 这样 的 矛盾 是 每时每刻 都 在 发生 的 我们 该 怎么办 呢 这里 我们 就 不得不 提 一位 Here we have to mention one 在 工程界 家喻户晓 的 人物 了 他 是 一位 出生 在 奥地利 的 美国 数学家 和 工程师 He is an American mathematician and engineer born in Austria 名字 叫做 鲁道夫 · 卡尔曼 他 提出 了 卡尔曼滤波 Kalman filter 卡尔曼滤波 曾经 帮助 阿波罗 飞船 登上 了 月球 Kalman filtering once helped the Apollo spacecraft land on the moon 现在 也 在 每时每刻 都 在 帮助 我们 的 GPS 导航系统 我们 利用 卡尔曼滤波 就 可以 把 不同 传感器 的 信息 融合 到 一块 了 我们 举 一个 例子 比如说 我们 通过 定位系统 For example, we use the positioning system 比如 GPS 定位 或者 是 什么 其他 的 定位系统 我们 知道 了 这个 汽车 的 位置 这个 位置 就是 z₁ 我 告诉 你 汽车 是 在 z₁ 的 位置 但是 因为 GPS 是 有 误差 的 它 不能 准确 地 告诉 你 在 什么 位置 而 只能 告诉 你 在 一个 范围 内 它 还有 一个 误差 或者说 方差 σ₁² z₁ 只是 表示 z₁ just means 你 可能 在 的 位置 中 的 这个 平均 位置 或者 叫 期望 Or expectation 而 这个 σ₁² 就 代表 了 你 的 误差 大小 如果 这个 σ₁² 特别 特别 小 就 表示 你 的 定位 特别 准确 σ₁² 特别 大 就 表示 你 的 定位 不太 准确 误差 特别 大 一般来讲 我们 认为 这个 GPS 定位 也好 其他 的 定位 也好 它 的 这个 误差 情况 都 满足 一个 高斯分布 或者 正态分布 以前 我们 讲过 高斯分布 是 什么 意思 呢 画 一个 图像 纵坐标 表示 的 是 概率密度 就 出现 在 某 一个 位置 的 概率密度 横坐标 是 表示 你 的 位置 如果说 GPS 告诉 我们 你 的 位置 是 以 z₁ 为 平均 位置 而 标准差 是 σ₁ 我们 可以 画出 一个 图像 来 它 就 长 这个 样子 是 吧 它 这个 最大 概率 的 位置 就是 z₁ 这个 图像 就 告诉 我们 你 的 位置 最有 可能 是 在 z₁ 的 位置 你 离 z₁ 位置 越近 你 出现 的 概率 就 越 大 你 离 z₁ 位置 越远 你 出现 的 概率 就 越 小 如果 这个 函数 特别 的 瘦高 那 就 意味着 你 给 我 的 信息 特别 准确 你 分布 的 位置 都 是 在 z₁ 附近 的 如果 这个 函数 特别 的 矮胖 那 就 说明 你 误差 特别 大 我 也 不 太 清楚 你 到底 是 在 什么 位置 这 就是 所谓 的 这种 高斯分布 或者说 正态分布 这里 边 的 这个 σ 其实 就 表示 它 瘦高 还是 矮胖 的 程度 如果 σ 特别 小 那 这个 函数 就 特别 瘦高 就 表示 比较 准确 σ 特别 大 就 说明 你 比较 矮胖 好 总而言之 这个 GPS 定位 告诉 了 我们 这个 位置 的 信息 但是 我们 不是 还有 其他 传感器 吗 什么 雷达 什么 的 摄像头 我们 这些 传感器 它 也 可以 告诉 我们 位置 的 信息 比如 它 告诉 我们 汽车 的 位置 是 在 z₂ 而且 这个 方差 是 σ₂² 我 也 可以 再 画出 这个 传感器 告诉 我们 的 情况 比如说 它 有 可能 是 长 这个 样子 的 长 这个 样子 这个 样子 就 告诉 我们 传感器 认为 我们 的 位置 更加 靠前 一点 是不是 The sensor thinks that our position is a little higher, right? 而且 传感器 提供 的 信息 可能 更加 准确 它 的 这个 标准差 σ₂ 比较 小 而 刚才 这个 GPS 告诉 我们 的 这个 标准差 σ₁ 它 是 比较 大 的 现在 我们 得到 两个 不同 的 信息 我们 如何 把 它 融合 到 一块 呢 这 卡尔曼 就 说 了 经过 数学计算 你 有 一个 最优 的 估计 最优 的 估计 最优 的 估计 是 什么 呢 那 就是 这有 一个 公式 这 公式 告诉 我们 你 最优 估计 的 位置 等于 什么 呢 =σ₂²z₁/(σ₁²+σ₂²)+σ₁²z₂/(σ₁²+σ₂²) 有 的 同学们 说 什么 乱七八糟 的 其实 这个 问题 并 不是 难 理解 的 咱们 仔细 看 z₁ 和 z₂ 是 两个 传感器 告诉 我们 的 位置 我们 最后 估计 的 位置 一定 是 要 把 它 融合 到 一块 得出 一个 结论 但是 谁 更 准确 我 就 更 相信 谁 你 看 这 两个 图像 你 就 应该 知道 这个 σ₂ 更 小 一些 说明 z₂ 这个 信息 更加 准确 所以 我 在 计算 权重 的 时候 我 应该 让 z₂ 的 这个 权重 更大 一些 我 怎么 才能 让 z₂ 的 权重 更大 一些 呢 我 让 它 前面 的 权重 是 σ₁²/(σ₁²+σ₂²) 你 σ₁ 比较 大 所以 这个 权重 就 大 大家 能 明白 吗 对 不 对 同样 道理 你 这个 z₁ 它 的 标准差 比较 大 说明 它 不是 那么 的 准确 所以 它 的 权重 就要 小 一些 是 吧 所以 你 可以 简单 地 理解 一下 这个 其实 就是 把 两个 数据 融合 到 一块 了 在 融合 的 时候 谁 准确 谁 的 权重 就 会 大 一些 同时 我 也 可以 知道 新 的 这个 方差 1/σ²=1/σ₁²+1/σ₂² 这 就是 卡尔曼 告诉 我们 的 最优 结论 你 会 发现 这个 新 的 标准差 的 平方 或者说 方差 它 是 比 原来 的 两个 方差 都 要 小 的 所以 最终 我们 会得 出来 一个 新 的 估计 情况 它 是 长 这个 样子 的 它 首先 它 的 均值 是 介于 两个 估计值 之间 的 而且 它 的 方差 比 两个 估计值 都 要 小 或者说 我们 获得 了 一个 更加 准确 的 估计 那么 假如 这辆 汽车 还有 其他 传感器 比如说 有 什么 速度计 加速度计 你 还 可以 继续 进行 卡尔曼滤波 这样 就 会 获得 一个 更加 准确 的 结果 了 我们 刚才 介绍 的 这个 模型 其实 是 最 简单 的 一个 卡尔曼滤波 模型 在 实际 的 情况 下 卡尔曼滤波 不光 是 多维 的 In the actual situation, Kalman filtering is not only multi-dimensional 而且 还是 跟 时间 有关 的 它 是 一个 时续 的 我们 来看 一下 这个 卡尔曼滤波 它 在 航海 上 有 什么 应用 在 航海 上 应用 其实 人类 在 大 航海 时代 开始 的 时候 就 已经 在 不知不觉 中 使用 这种 滤波 的 方法 了 比如说 一个 有 经验 的 船长 他 在 t₁ 的 时刻 他会 有 一个 位置 他 知道 自己 的 位置 那么 他会 有 一个 航向 或者 是 航速 表 是 吧 他 有 航向 还有 航速 表 所以 他 通过 航向 和 航速 他 可以 估计 说 t₂ 的 时刻 它 有 一个 估计 的 位置 但是 他 并 不会 把 这个 位置 作为 最终 自己 的 位置 他会 怎么样 他会用 六分仪 去测 在 六分仪 测量 的 时候 它 又会有 一个 估计 的 位置 这 两个 估计 的 位置 可能 是 不 一样 的 于是 它会 怎么样 它会 通过 一定 的 方法 把 它 融合 起来 得到 t₂ 的 位置 那 现在 我们 就 知道 了 其实 你 最佳 的 融合 方法 就是 卡尔曼滤波 对 吧 你 t₂ 的 位置 有 了 之后 你 还 可以 继续 通过 航向 和 航速 对 不 对 你 还 可以 继续 得 出来 一个 估计 的 位置 然后 你 再 通过 六分仪 你 再 得到 一个 估计 的 位置 如此 你 把 这 两个 估计 的 位置 再 去 算 你 就 会 得到 t₃ 时刻 的 这个 最好 的 一个 估计 位置 所以 这 就是 在 航海 过程 中 经常 使用 的 一种 方法 它 的 原理 其实 跟 卡尔曼滤波 是 一样 的 多 传感器 融合 的 原理 同样 是 如此 就是 每 一种 传感器 它 提取 的 数据 获得 的 特征 以及 做出 的 判断 本质 上 都 是 一组 带有 误差 的 测量 值 那么 我们 可以 通过 卡尔曼滤波 的 方法 把 这些 测量 值 融合 起来 得到 一个 最 准确 的 结果 宇宙飞船 登月 的 时候 When the spacecraft landed on the moon 需要 通过 各种 方法 来 判断 自身 的 位置 修正 轨道 现在 的 自动 驾驶 汽车 也 要 通过 各种 传感器 来 给 自己 定位 同时 判断 周围 的 环境 所 使用 的 原理 其实 与 早期 的 航海家 是 一样 的 只不过 我们 现在 有 了 更加 高精尖 的 设备 以及 更好 的 数学 理论 中国 古人 说 兼听则明 偏听则暗 The ancient Chinese said and listened to it, but it was too clear to hear, but it was dark 兼 听 就是 多 传感器 融合 从 兼 听到 明所 需要 的 就是 卡尔曼滤波 小鹏 汽车 NGP 就是 这样 通过 多 传感器 融合 和 卡尔曼滤波 技术 能够 对 自己 的 位置 和 周围 的 环境 做出 更加 准确 的 判断 从而 让 驾驶 变得 更加 安全 和 高效 大家 如果 喜欢 我 的 视频 可以 在 YouTube 帐号 李永乐 老师 里 订阅 我 点击 小 铃铛 可以 第一 时间 获得 更新 信息