特斯拉最近在全球多国推广FSD，并且在2月份时曾短暂在中国推出了FSD，这让许多人好奇他们是如何如此迅速地做到的。特斯拉不被允许将训练数据传出中国，这意味着它无法利用德州超级工厂新建的Cortex超级计算机集群的能力。
特斯拉FSD V14在瑞典上路
特斯拉准备将FSD引入日本泰国市场
取而代之的是，特斯拉正在使用其通用模型，结合“合成训练数据”，来为中国市场训练FSD。当然，特斯拉也使用同样的合成数据来补充北美市场的训练以及欧洲市场的训练。随着欧洲FSD的临近，我们很可能会看到合成训练数据被越来越多地使用，作为处理边缘案例（conner case）的可靠手段。
模拟内容Simulated Content
特斯拉在其名为“基于视觉的系统与合成内容训练”的专利中，正式将合成训练数据称为“模拟内容”。让我们将其分解成更容易理解的部分。
纯视觉训练
正如大家所知，特斯拉的自动驾驶方案侧重于使用特斯拉视觉（Tesla Vision）。这意味着提供视觉数据的摄像头是主要的——实际上也是唯一的——从车辆外部获取数据的方式。他们不再使用雷达，并且仅在训练期间使用激光雷达来确保视觉传感器的准确性。
从车辆周围捕获的所有信息构建了一个3D环境，车辆利用这个环境来规划其路径并做出决策。所有这些数据经过处理，构建出一个关于车辆周围环境以及预测未来周围环境的相当全面的视图。所有这些信息也会被标记和特征化，以帮助系统确定各种决策的优先级。
监督学习模型
特斯拉的FSD训练是通过监督学习模型完成的。这意味着训练模型被输入已经标记好的数据，这些数据由人工或特斯拉独特的AI模型标记。输入图像中的物体会被识别，并标记位置、速度和加速度。这些信息作为真实值供AI模型学习，使其能够在真实世界驾驶中遇到类似物体和情况时进行识别和解读。
真实值标签数据
真实值标签数据是这个监督学习过程的关键部分。标记数据为模型提供了关于图像中物体及其特征的准确信息。这使得特斯拉能够培养FSD在驾驶时对其周围环境稳健的理解能力。这些数据通常从真实世界驾驶场景中收集，并通过人工或自动方式进行数据标注。
特斯拉如何实现FSD数据自动标注？
生成模拟内容
为了补充真实世界的真实值标签数据，特斯拉采用了模拟内容系统来生成合成训练数据——这实际上是该专利的核心部分。该系统生成的合成训练数据与上述标记的真实值数据非常相似。
内容模型属性与情景标签
模拟内容的生成由特斯拉称之为“内容模型属性”的要素指导，这些属性本质上是从真实值标签数据中提取的关键特征或特性。这些可能包括道路边缘、车道线、静止物体，甚至是车辆或行人等动态物体。
通过改变这些属性，系统可以创建各种各样的模拟场景——这意味着FSD的训练程序能够接触到尽可能多的独特和正常的情况。
除了属性之外，系统还融入了情景标签——这涉及为模拟内容添加标签，以用更多的细节来优化它。这些标签可以包括天气条件、一天中的时间，甚至车辆行驶的道路或环境类型。所有这些信息都是有用的情景，有助于培养FSD对驾驶环境的理解。
训练数据生成
特斯拉的模拟内容系统通过创建内容模型的变体来生成大量的训练数据。这些变体通常涉及对场景中物体的属性进行微调——从而改变环境条件，或引入新类型的驾驶场景，如交通拥堵或施工。
训练FSD
总结来说——真实世界数据和模拟数据的组合数据集随后被用于训练FSD。通过持续提供两种类型的新输入数据，特斯拉可以进一步持续改进和完善FSD。
为何使用模拟内容？
当特斯拉的车辆已经在收集海量的真实世界驾驶数据时，他们却利用模拟内容来训练其自动驾驶系统，这可能看起来有违直觉。他们的车辆每月在全球行驶数亿英里——为他们提供了难以估量的独特数据。然而，这样做有几个原因。
降低成本
使用模拟内容的主要优势之一是降低成本。模拟内容不必收集、传输、分类、标记和处理来自真实世界的输入数据，特斯拉可以仅在本地创建数据。
这削减了数据传输、数据存储以及所有处理和标记（无论是人工还是机器完成）的成本。当你考虑到每天从全球车辆流入特斯拉服务器的数据量时，这可能是一笔相当可观的费用。
模拟“具有挑战性的”条件
模拟内容使特斯拉能够在各种环境条件下训练FSD，这些条件在真实世界驾驶中可能很罕见、难以遇到或极其危险。这可能包括大雨、雾或雪等具有挑战性的条件——甚至是在这些条件下的夜间驾驶。
通过在此类内容上训练系统，而不试图从真实车辆中提取这些数据，特斯拉可以确保FSD即使在现实世界中更困难的场景下也能保持可操作性和相当的稳健性。
边缘案例与安全
模拟内容的另一个关键好处是能够在边缘案例上训练FSD。虽然我们有时开玩笑地将边缘案例称为“为校车停车”、“为应急车辆让路”、“听从交警指挥”之类的事情，但确实存在一些在真实驾驶场景中不常遇到，但可能对驾驶员、乘客、行人或其他道路使用者构成真实安全风险的边缘案例。
想想那些你可能觉得会发生但从未真正见过的事情，比如一辆车从运输拖车上掉下来，或者一个高速公路标志倒下。
因此，特斯拉模拟了许多独特的边缘案例，包括行人突然横穿马路、道路上出现意外障碍物，甚至其他驾驶员的异常行为。所有这些独特的模拟在现实世界中都很难捕获，这意味着对它们进行模拟和训练对于确保安全至关重要。
高效与持续优化
最后，特斯拉可以按需生成的大量多样化训练数据意味着他们可以快速有效地迭代FSD，而无需等待真实世界数据。这意味着他们可以保持一个持续的学习过程，确保FSD始终在一点一点地改进。
来源：智驾小强
