3D高斯泼溅 gaussian-splatting

⭐⭐⭐☆☆ (3/5) 🧩 软硬件结合 已发布
graphdeco-inria 12944 Stars 未知 BOM 完整度: /5 教程完整度: /5

项目简介

Original reference implementation of "3D Gaussian Splatting for Real-Time Radiance Field Rendering"


3D Gaussian Splatting 是由 Inria 和 MPI 等机构联合开发的一项突破性开源项目,旨在实现实时、高质量的辐射场渲染。传统上,基于神经网络的辐射场方法虽然能生成逼真的新视角图像,但训练和渲染成本极高,难以达到实时显示的要求,尤其是在处理完整的大场景和 1080p 分辨率时。该项目通过引入三个核心创新,成功解决了这一痛点:首先,它利用从相机校准中获得的稀疏点云,将场景表示为一系列三维高斯体,这些高斯体保留了连续体积辐射场的优化特性,同时避免了在空区域进行不必要的计算;其次,项目采用交错优化与密度控制策略,重点优化各向异性协方差,从而实现对场景的精确建模;最后,它开发了一种快速的可见性感知渲染算法,支持各向异性溅射,不仅加速了训练过程,还实现了实时渲染。在技术栈方面,项目基于 CUDA 和 PyTorch 构建,并提供了 SIBR 实时查看器,支持 Windows 平台,近期还集成了 OpenXR 虚拟现实支持、训练加速、深度正则化、抗锯齿和曝光补偿等新功能。该项目适用于需要高保真、实时交互的 3D 场景重建与渲染场景,如虚拟现实、数字孪生、影视特效和游戏开发等。自发布以来,它已成为计算机图形学与计算机视觉领域的重要里程碑,为实时辐射场渲染树立了新的标杆。

标签

项目特点

**实时渲染**:在1080p分辨率下实现≥30 fps的实时新视角合成
**高质量视觉**:达到最先进的视觉质量,优于许多现有方法
**高效训练**:保持具有竞争力的训练时间
**3D高斯表示**:使用3D高斯体表示场景,保留连续体积辐射场的理想属性
**各向异性协方差优化**:优化各向异性协方差以实现精确的场景表示
**快速可见性感知渲染**:支持各向异性泼溅,加速训练并实现实时渲染
**支持多种输入**:可从COLMAP或NeRF合成数据集输入
**跨平台支持**:已在Windows 10和Ubuntu Linux 22.04上测试

技术规格

硬件要求
软件要求
训练迭代次数
球谐函数阶数
学习率(特征)
学习率(不透明度)
学习率(缩放)
输入格式
输出格式

项目资源

物料清单 (BOM)

物料名称 数量 参考价格 备注
CUDA-ready GPU 1 计算能力7.0+,推荐24 GB VRAM
Conda 1 推荐用于环境管理
C++编译器 1 如Visual Studio 2019
CUDA SDK 11 1 推荐11.8版本
PyTorch 1 包含在Conda环境中
COLMAP或NeRF合成数据集 1 输入数据

所需工具

工具用途是否必需
CUDA-ready GPU 训练和渲染 ✅ 是
Conda 环境管理 ✅ 是
C++编译器 编译PyTorch扩展 ✅ 是
CUDA SDK GPU加速 ✅ 是
Python 运行训练脚本 ✅ 是
OpenGL 实时查看器 ▢ 推荐

能力画像

记忆与知识检索
1/5
逻辑推演
4/5
表达与交流
1/5
感知与观察
1/5
数理与计算
5/5
动手与操作
3/5
狂热与坚持
4/5
创造与创新
5/5

视频

T_kXY43VZnk

watch

所需技能

🔧 **动手能力**:需要能够设置CUDA环境、编译C++扩展、管理Conda环境,以及处理GPU相关配置 💻 **编程能力**:需要Python编程经验,理解PyTorch框架,能够阅读和修改训练脚本 ⚡ **电子电路**:不适用

适用场景

**新视角合成**:从多张照片或视频中生成任意视角的高质量渲染
**3D场景重建**:将真实场景转换为可交互的3D模型
**虚拟现实/增强现实**:为VR/AR应用提供实时、高质量的3D场景渲染
**电影和游戏制作**:用于数字孪生、虚拟制片和游戏资产创建
**文化遗产数字化**:对文物、建筑等进行高精度3D数字化