待补充 ikergarcia1996/Self-Driving-Car-in-Video-Games

4/5 🧩 软硬件结合 已发布
ikergarcia1996 456 Stars 未知 BOM 完整度: 0/5 教程完整度: 2/5
待补充

项目简介

A deep neural network that learns to drive in video games


这是一个非常有趣且实用的开源项目,名为「Self-Driving-Car-in-Video-Games」,其核心目标是利用深度学习技术,让模型学会在电子游戏(特别是《侠盗猎车手V》)中像人类一样驾驶汽车。项目通过监督学习的方式,首先录制人类玩家在游戏中的操作画面和对应的键盘/手柄输入,将这些海量数据(高达130GB)作为训练素材,训练出一个能够自主导航的深度神经网络模型。该模型被命名为T.E.D.D. 1104,其核心功能是:给定一个游戏内的小地图路径点,模型能够自主规划并控制车辆,以尽可能快的速度抵达目的地,同时有效避开其他车辆、行人以及各种障碍物。项目提供了多个预训练模型,参数规模从2600万到1.38亿不等,覆盖了城市、高速公路等多种场景,并在晴天、夜晚、雨天等不同天气条件下都进行了测试,表现出色。从技术栈上看,该项目主要基于深度学习框架(如PyTorch)构建,模型架构针对视觉输入和连续控制输出进行了优化。它解决了在复杂、动态的虚拟环境中实现端到端自动驾驶的难题,其适用场景非常广泛:不仅是GTA V的自动驾驶,其设计思路和代码框架可以轻松迁移到任何其他电子游戏中,用于游戏AI开发、自动驾驶算法的低成本仿真测试,以及作为强化学习或模仿学习研究的基准平台。对于游戏开发者、自动驾驶研究人员以及AI爱好者来说,这是一个极具参考价值和实用性的开源宝藏。

标签

项目特点

**基于真实游戏环境**:直接在《侠盗猎车手V》中训练和测试,模型面对的是真实的游戏物理引擎和动态交通场景。
**海量训练数据**:使用了高达130GB的人类驾驶数据,覆盖各种路况和驾驶行为,让模型学得更像真人。
**端到端深度学习**:从游戏画面直接映射到驾驶控制指令,无需手工设计复杂的规则或特征提取。
**路径点导航**:模型能够解析游戏内的小地图路径点,自主规划路线并控制车辆抵达目的地。
**障碍物避让**:具备实时避障能力,能有效识别并绕开其他车辆、行人和路边障碍物。
**多版本预训练模型**:提供了参数规模从260万到更大规模的多个预训练模型,方便不同硬件条件的用户使用。

技术规格

项目资源

物料清单 (BOM)

物料名称 数量 参考价格 备注
Python 3.x 1 编程环境
PyTorch 1 深度学习框架
GTA V 游戏本体 1 训练和测试环境
Screen Capture 库 1 用于捕获游戏画面
Input Emulation 库 1 用于模拟键盘/手柄输入
人类驾驶数据集 1份 约130GB,需自行录制或下载
预训练权重文件 多个 不同参数规模可选

能力画像

**记忆与知识检索**:3/5 — 需要理解深度学习基础知识和相关论文,但项目本身提供了完整代码和文档。
**动手与操作**:4/5 — 需要安装游戏、配置环境、录制数据,实际操作环节较多。
**编程与算法**:4/5 — 涉及Python编程、神经网络搭建、数据预处理和模型训练调优。
**设计与建模**:3/5 — 模型架构已由项目提供,但可根据需求进行修改或改进。
**实验与调试**:5/5 — 训练过程需要大量实验调整超参数,调试模型在游戏中的表现。
**协作与分享**:2/5 — 个人项目为主,但可通过GitHub提交Issue或PR参与改进。
**学习与研究**:5/5 — 非常适合学习端到端自动驾驶、模仿学习、计算机视觉等前沿技术。
**系统集成**:3/5 — 需要将游戏、数据采集、模型推理等多个模块整合在一起运行。

所需技能

Python编程基础 深度学习基础(特别是卷积神经网络) PyTorch框架使用经验 计算机视觉基础知识 游戏环境配置和调试能力 数据处理和清洗能力 基本的Linux命令行操作(可选)

适用场景

学习端到端自动驾驶技术的入门项目
研究模仿学习在复杂环境中的应用
计算机视觉与游戏AI结合的实验平台
验证深度学习模型在模拟环境中的驾驶能力
游戏开发中AI驾驶行为的原型验证
高校人工智能课程的实践教学案例
自动驾驶算法在低成本仿真环境中的快速迭代测试