自动驾驶算法—车道检测：3 种深度学习（非 OpenCV）算法.docVIP

自动驾驶算法—车道检测：3种深度学习（非OpenCV）算法

人们在打造自动驾驶汽车时，首先想到的就是实现车道检测。特斯拉和mobileye将其称为“强制性要求”，而SebastianThrun（自动驾驶汽车教父）在一次采访中也将其称为首要、必不可少的任务。

然而，如果这是一个很好的第一反应，那么许多工程师的初衷可能并不是最好的。事实上，我注意到大多数帖子都在解释传统的OpenCV算法，这些算法由不再使用的非常古老的函数组成。这就是为什么我想创建这篇关于深度学习的帖子，这是当今公司使用的。事实上，公司主要使用3种方法来执行车道检测：

??1.分割方法（SegmentationApproaches）

??2.基于锚点的方法（Anchor-BasedApproaches）

??3.基于参数的方法（ParameterBasedApproaches）

注意：当我谈论“车道检测”时，我实际上会谈论“车道线检测”的概念。在研究和常识中，这两者是同化的，尽管应该有所不同。

让我们看看如何检测车道线！

车道线检测的分割方法

检测车道线的第一个也是最流行的方法是使用图像分割。实际上，作为一名自动驾驶汽车工程师，我花了好几个月的时间研究这个技术，因为它至关重要，而且一种名为LaneNet的算法被认为是实现这一目标的最佳方法。

我们需要了解三件事：

如何将车道线检测构建为分割问题

可以使用哪些架构？

如何根据分割掩模进行曲线拟合？

如何将车道检测构建为分割问题

如果你熟悉图像分割，你就会明白我的意思：我们的输入和输出都是图像。事实上，输出图像是一个分割蒙版，上面画有车道标记，就像下图底部一样：

顶部：输入图像|中间：预测|底部：标签

如您所见，我们的输入是一组图像，但我们的标签是相同的图像，带有重叠的分割线。这里，每种颜色代表一条线。这意味着我们不仅在进行图像分割，还在进行实例分割。多亏了这一点，我们可以区分左右线，还可以区分实线和虚线、曲线和直线等……

可以使用哪些架构？

用于执行分割的大多数模型都是编码器-解码器架构，根据数据集和标签，您将拥有或多或少的类别。您的任务是进行逐像素实例分类（对每个像素进行分类）。

这一类别中最受欢迎的架构（甚至在车道线检测中）是LaneNet。因此，我将深入研究LaneNet，然后探索其他一些模型。

LaneNet深度探究

LaneNet模型（来源）

输入是一张图像，然后经过E-Net编码器（预训练的图像分割编码器），然后是两个头：

1.底部的头部是一组上采样层，用于绘制二进制分割掩码。此掩码是二进制的，仅回答“此像素是否属于一条线？”的问题。

2.最上面的是一组进行像素嵌入的上采样层。这个术语很吓人，它实际上是在进行实例分割，其中包括为每个像素分配一个唯一的嵌入（一组特征值），以便属于同一车道线的像素具有相似的嵌入，而属于不同车道线的像素具有不同的嵌入。

例如，这里是这些“嵌入”的更好的可视化。

嵌入可视化基于聚类方法

然后，我们将这两者结合起来，并使用后聚类（如DBSCAN）将具有相似嵌入（特征）的线条组合在一起。这就是LaneNet，其中一个分支分类“线条与非线条”，另一个分支分类“线条A与线条B与线条C等...”，然后我们对来自相同线条的像素进行聚类。

其他算法是什么样的

LaneNet是此类别的先驱，但其他架构效果更佳，例如SCNN、RESA或CurveLane-NAS。

例如，SCNN（空间卷积神经网络）通过采用空间CNN层来增强车道检测，这使其能够考虑像素之间的水平连接，从而提高线路连续性。

RESA（循环空间注意）利用空间注意模块和循环反馈机制，通过关注连续处理阶段的相关空间特征来确保稳健的车道预测。

CurveLane-NAS使用神经架构搜索(NAS)自动识别最佳网络架构，确保模型针对曲线车道检测的特定任务进行良好调整。

它们内部都使用不同的机制，但输出始终是一个分段掩码。

3其他分割方法

接下来的问题是如何将分割蒙版转换成可用的东西：

曲线拟合

想象一下，你正在洗衣服：你花了15分钟仔细地将白色衣物和彩色衣物分开，又花了5分钟确保其中没有精致衣物。你小心翼翼地将所有衣物放入洗衣机，然后出发上班……却在途中发现自己忘了启动洗涤程序！

当您找到分割图?但不进行曲线拟合时，就会发生这种情况。曲线拟合是将2D或3D曲线拟合到来自相同检测到的车道的点的过程。

有三种方法可以实现：

直接曲线拟合：这意味着直接在图像空间内拟合曲线，它涉及找到一个多项式，该多项式将拟合二维平面中检测到的车道点的大多数x和y坐标。虽然这种方法很简单，但它需要解决现实世界的准确性问题（重新投影到三维空间时）和有效管理消失