type
Post
status
Published
date
Jun 1, 2025
slug
magiccity-3d-city-generation
summary
从卫星影像生成具几何一致性与真实纹理的三维城市场景，并从地理信息技术流程出发参与生成质量评估。
tags
MPhil 2025-2026
生成式 ai
空间设计与理论
论文产出
category
研究与出版
icon
password
网址
项目产出 / Project Outputs
- Yao, X., Wang, X., Wu, H., Ping, C., Zhang, D., & Xiong, H. (2025). MagicCity: Geometry-aware 3D city generation from satellite imagery with multi-view consistency. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 25325-25334.
项目关键词 / Project Keywords
项目简介 / Project Overview
MagicCity 研究如何从卫星影像直接生成具有真实纹理与几何一致性的三维城市场景，面向游戏、地图服务、城市数字孪生与大尺度三维重建等应用场景。项目提出融合几何与纹理先验的多视角扩散生成框架，并构建 CityVista 数据集，用于支持城市级 3D 生成与重建研究。我的参与主要集中在项目概念与方法层面的评论，以及对三维城市场景生成质量的评估。
Figure 1. MagicCity overview: 从卫星影像生成具有城市级一致性的多视角图像，并通过重建流程得到兼具真实纹理与几何一致性的 3D 城市场景，可用于游戏资产、城市仿真等场景。
研究问题 / Research Questions
- 如何从信息有限的卫星影像中生成同时具备真实纹理和几何准确性的三维城市场景？
- 多视角扩散生成如何保持跨视角的一致性，避免城市建筑、街区形态和纹理在不同视角之间失真？
- 三维城市场景的生成质量应如何评估，尤其是在视觉真实感之外，如何判断几何一致性、空间可信度和重建可用性？
我的角色和洞见 / My Role & Insights
我的角色 / My Role
我主要参与了这个项目的概念和方法评论，以及对三维城市场景生成质量的评估。具体来说，我从传统地理信息技术和城市三维建模流程出发，讨论生成结果在空间结构、建筑轮廓、跨视角一致性和重建可用性上的判断标准，帮助把技术模型的输出转化为更接近城市空间生产逻辑的评估问题。
关键洞见 / Key Insights
这个项目让我意识到，三维城市生成不能只以视觉真实感作为评价标准。对于面向城市、地图和数字孪生场景的生成式 AI，建筑轮廓、尺度关系、视角一致性和可重建性同样重要。传统 GIS、倾斜摄影和三维重建流程虽然不是生成模型本身的一部分，但可以作为判断生成结果是否具有空间可信度的重要参照。
方法与过程 / Methods & Process
研究方法 / Research Methods
- 梳理卫星影像到三维城市场景生成的研究背景与应用场景。
- 从传统地理信息生产流程中理解三维城市生成的质量判断，包括无人机倾斜摄影、GIS 建筑轮廓处理和三维重建。
- 围绕几何一致性、纹理真实感、多视角稳定性和重建可用性，对生成质量评估提出概念与方法层面的评论。
设计与实现 / Design & Implementation
- 项目整体提出几何感知的多视角扩散生成框架，将三维几何信息与纹理特征共同编码。
- 通过多分支扩散模型生成城市尺度的多视角图像，并引入跨帧注意力机制增强视角间纹理一致性。
- 结合 CityVista 数据集与三维重建 pipeline，将生成图像进一步转化为三维城市场景。
Figure 2. MagicCity framework: 由 Dual Encoder 编码纹理描述与三维结构，将其注入城市尺度多视角扩散模型生成一致视图，并以一致性评分指导 3D Gaussian Splatting 重建。
分析与验证 / Analysis & Evaluation
- 参与讨论三维城市场景生成质量的评估维度。
- 将生成式 AI 输出与传统三维城市建模中的质量判断逻辑进行对照。
- 从城市空间对象是否可识别、建筑关系是否稳定、跨视角结果是否一致、重建结果是否可信等角度参与评估。
附录 / Appendix
Poster / Poster
MagicCity ICCV 2025 poster overview.