3D高斯泼溅
gaussian-splatting
⭐⭐⭐☆☆ (3/5)
🧩 软硬件结合
已发布
项目简介
Original reference implementation of "3D Gaussian Splatting for Real-Time Radiance Field Rendering"
3D Gaussian Splatting 是由 Inria 和 MPI 等机构联合开发的一项突破性开源项目,旨在实现实时、高质量的辐射场渲染。传统上,基于神经网络的辐射场方法虽然能生成逼真的新视角图像,但训练和渲染成本极高,难以达到实时显示的要求,尤其是在处理完整的大场景和 1080p 分辨率时。该项目通过引入三个核心创新,成功解决了这一痛点:首先,它利用从相机校准中获得的稀疏点云,将场景表示为一系列三维高斯体,这些高斯体保留了连续体积辐射场的优化特性,同时避免了在空区域进行不必要的计算;其次,项目采用交错优化与密度控制策略,重点优化各向异性协方差,从而实现对场景的精确建模;最后,它开发了一种快速的可见性感知渲染算法,支持各向异性溅射,不仅加速了训练过程,还实现了实时渲染。在技术栈方面,项目基于 CUDA 和 PyTorch 构建,并提供了 SIBR 实时查看器,支持 Windows 平台,近期还集成了 OpenXR 虚拟现实支持、训练加速、深度正则化、抗锯齿和曝光补偿等新功能。该项目适用于需要高保真、实时交互的 3D 场景重建与渲染场景,如虚拟现实、数字孪生、影视特效和游戏开发等。自发布以来,它已成为计算机图形学与计算机视觉领域的重要里程碑,为实时辐射场渲染树立了新的标杆。
标签
项目特点
**实时渲染**:在1080p分辨率下实现≥30 fps的实时新视角合成
**高质量视觉**:达到最先进的视觉质量,优于许多现有方法
**高效训练**:保持具有竞争力的训练时间
**3D高斯表示**:使用3D高斯体表示场景,保留连续体积辐射场的理想属性
**各向异性协方差优化**:优化各向异性协方差以实现精确的场景表示
**快速可见性感知渲染**:支持各向异性泼溅,加速训练并实现实时渲染
**支持多种输入**:可从COLMAP或NeRF合成数据集输入
**跨平台支持**:已在Windows 10和Ubuntu Linux 22.04上测试
技术规格
| 硬件要求 | |
|---|---|
| 软件要求 | |
| 训练迭代次数 | |
| 球谐函数阶数 | |
| 学习率(特征) | |
| 学习率(不透明度) | |
| 学习率(缩放) | |
| 输入格式 | |
| 输出格式 |
项目资源
fungraph/3d-gaussian-splatting
3d-gaussian-splatting/3d_gaussian_splatting_high.pdf
youtu.be/T_kXY43VZnk
publis/gdindex.php
/fungraph.inria.fr
input/tandt_db.zip
pretrained/models.zip
binaries/viewers.zip
evaluation/images.zip
graphdeco-inria/gaussian-splatting
camenduru/gaussian-splatting-colab
www.youtube.com/watch?v=UXtuigy_wYc
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| CUDA-ready GPU | 1 | — | 计算能力7.0+,推荐24 GB VRAM |
| Conda | 1 | — | 推荐用于环境管理 |
| C++编译器 | 1 | — | 如Visual Studio 2019 |
| CUDA SDK 11 | 1 | — | 推荐11.8版本 |
| PyTorch | 1 | — | 包含在Conda环境中 |
| COLMAP或NeRF合成数据集 | 1 | — | 输入数据 |
所需工具
| 工具 | 用途 | 是否必需 |
|---|---|---|
| CUDA-ready GPU | 训练和渲染 | ✅ 是 |
| Conda | 环境管理 | ✅ 是 |
| C++编译器 | 编译PyTorch扩展 | ✅ 是 |
| CUDA SDK | GPU加速 | ✅ 是 |
| Python | 运行训练脚本 | ✅ 是 |
| OpenGL | 实时查看器 | ▢ 推荐 |
能力画像
记忆与知识检索
1/5
逻辑推演
4/5
表达与交流
1/5
感知与观察
1/5
数理与计算
5/5
动手与操作
3/5
狂热与坚持
4/5
创造与创新
5/5
项目图库
视频
T_kXY43VZnk
watch
所需技能
🔧 **动手能力**:需要能够设置CUDA环境、编译C++扩展、管理Conda环境,以及处理GPU相关配置
💻 **编程能力**:需要Python编程经验,理解PyTorch框架,能够阅读和修改训练脚本
⚡ **电子电路**:不适用
适用场景
**新视角合成**:从多张照片或视频中生成任意视角的高质量渲染
**3D场景重建**:将真实场景转换为可交互的3D模型
**虚拟现实/增强现实**:为VR/AR应用提供实时、高质量的3D场景渲染
**电影和游戏制作**:用于数字孪生、虚拟制片和游戏资产创建
**文化遗产数字化**:对文物、建筑等进行高精度3D数字化