EN中文

热带地理 >

2023 , Vol. 43 >Issue 2: 190 - 201

DOI: https://doi.org/10.13284/j.cnki.rddl.003633

“村镇规划与建设智能化”专题

基于多源数据融合的农村建筑智能识别与三维建模方法研究

  • 陈彪 , 1 ,
  • 彭欣月 , 1 ,
  • 周素红 2 ,
  • 陈家亮 1 ,
  • 孔宪娟 1 ,
  • 卞明月 1 ,
  • 林高远 1
展开
  • 1. 奥格科技股份有限公司，广州 510000
  • 2. 中山大学 地理科学与规划学院，广州 510275
彭欣月（1996—），女，江西萍乡人，硕士，主要从事计算机三维技术等方面的研究工作，（E-mail）。

陈彪（1987—），男，湖南邵阳人，高级工程师，学士，主要从事计算机三维技术等方面的研究工作，（E-mail）；

收稿日期: 2022-09-09

  修回日期: 2023-01-15

  网络出版日期: 2023-02-28

基金资助

城市信息模型（CIM）平台关键技术研发及广州示范应用(202103050001)

收起

Intelligent Recognition and 3D Modeling of Rural Buildings Based on Multi-Source Data Fusion

  • Biao Chen , 1 ,
  • Xinyue Peng , 1 ,
  • Suhong Zhou 2 ,
  • Jialiang Chen 1 ,
  • Xianjuan Kong 1 ,
  • Mingyue Bian 1 ,
  • Gaoyuan Lin 1
Expand
  • 1. Augur Technology Co. , Ltd. , Guangzhou 510000, China
  • 2. School of Geography and Planning, Sun Yat-sen University, Guangzhou 510275, China

Received date: 2022-09-09

  Revised date: 2023-01-15

  Online published: 2023-02-28

Fold

本文亮点

中国幅员辽阔且农村房屋数量庞大、分布广泛，乡村地区低成本、广覆盖的信息采集和建模一直是乡村信息化亟待解决的问题。文章提出了一种简易的农村三维建筑建模方式，即基于多源数据融合的农村建筑智能识别与三维建模方法，并以广东省云浮市新兴县河村为研究对象，建立精细化三维建筑模型。该方法分为粗模生成和深化建模2个阶段。首先，在粗模生成阶段，基于高分辨率遥感影像和Mask R_CNN技术识别建筑物，确定房屋位置并拉伸生成基础白模；在深化阶段，外业采集员根据实际情况，基于农村建筑模型库将基础白模替换为更精细的、参数化的白模；然后，通过简单的手机拍摄及纹理处理，实现建筑立面纹理的补充；最后，通过坐标匹配、影像地形融合、三维轻量化等技术形成真实的、可存储和可交换的三维建筑模型，可支撑乡村调查、乡村规划、乡村建设、共同缔造等应用。该方法简单易用，降低了常规建模在数据采集、处理等技术方面的高要求，为农村地区提供一种低成本、高效率的“大众化”建筑三维重建方法。

本文引用格式

陈彪 , 彭欣月 , 周素红 , 陈家亮 , 孔宪娟 , 卞明月 , 林高远 . 基于多源数据融合的农村建筑智能识别与三维建模方法研究[J]. 热带地理, 2023 , 43(2) : 190 -201 . DOI: 10.13284/j.cnki.rddl.003633

Highlights

China's rural areas are vast, and housing construction is the primary organization of farmers' living spaces and an essential focus of the national implementation of rural revitalization. However, there is a lack of rural housing census data and methods that quickly and accurately establish a rural three-dimensional (3D)-building model. The existing 3D-building modeling techniques, including manual modeling and oblique photography modeling, are encountering the problem of high cost and do not meet the construction requirements of low cost and comprehensive coverage. With the development of satellite remote sensing technology in China, building recognition based on high-resolution remote sensing images has become a convenient and rapid technical tool. At the same time, with the widespread use of smartphones and their potent computing power, people can easily and quickly access the Internet and receive a three-dimensional display. Compared with two-dimensional products, three-dimensional products can show rural buildings, terrain, and landscape more clearly, enhance the refined management of rural areas, and improve enthusiasm to participate in rural construction. Therefore, this study proposes a simple rural 3D building modeling method based on multi-source data fusion, namely intelligent identification and 3D modeling for rural buildings. This method consists of two stages: rough model generation and deepening. In the rough model generation stage, the building is identified based on high-resolution remote sensing images and Mask R_CNN technology, the location of the building is determined, and the basic white model is obtained by stretching. In the deepening stage, field collectors replace the basic white model with a more refined and parameterized model based on the rural building model library, according to the actual situation. Subsequently, they supplement the building facade texture through smartphone photography and texture processing. Finally, a physical, storable, and exchangeable 3D-building model is obtained through coordinate matching, image terrain fusion, 3D-lightweight technology, and other technologies. This study adopts the modeling strategy of gradual deepening to reduce the modeling cost. The associated high-resolution remote sensing image recognition technology and mobile phone-based 3D modeling and display technologies are relatively advanced. Based on the characteristics of architectural styles in rural areas, a set of rural building-model libraries based on CSG technology was constructed. Model replacement, model size adjustment, texture mapping, and other operations were quickly used to build a refined 3D model. Finally, the 3D models were lightly processed and fused with the image topography and other data, which meets the demand for smooth browsing from various aspects. The 3D model of Hecun Village in Xinxing County was experimentally reconstructed, illustrating that the method can support applications such as rural surveys, rural planning, rural construction, and co-production. The modeling results show that the method is simple, easy to use, and reduces the high requirements of conventional modeling in terms of data acquisition and processing. It can provide a low-cost, highly efficient, and prevalent 3D-reconstruction method for rural regions, which is suitable for widespread promotion.

中国农村地域辽阔，建筑物作为典型的地物要素，是农村生活空间的主体，同时也是乡村振兴用地的重要保障之一（徐涛 等，2022）。此外，农村建筑物的三维场景一张图是乡村信息化建设的重要数据之一，通过对农村建筑物识别可有效分析当前农村的密集程度和土地利用率（古杰 等，2013；王利忠 等，2019），同时对优化乡村发展布局、促进乡村振兴实施具有重要的现实意义。但现阶段农村房屋数据较为稀缺，如何快速、准确地构建农村三维建筑模型是乡村信息化建设的首要内容。
早期三维建筑建模依靠人机交互，在二维矢量数据的基础上，利用3dsMAX、CAD等软件手动构建建筑物三维模型（谢小魁 等，2016；单杰 等，2019）。该方式模型精度高，但存在建模成本高、耗时长、覆盖范围小、真实纹理采集困难等问题，无法满足大范围快速建模的需要（张春敏 等，2018；张俊辉 等，2020）。随着倾斜摄影技术的广泛应用，自动化三维建筑建模取得很大进展。也有研究结合航空立体像对与3dsMAX软件完成了三维建模以及纹理映射（程慧，2013；李德仁 等，2015；文雄飞 等，2016；张春敏 等，2018）。陈良超等（2018）提出一种基于底面纹理的倾斜摄影模型动态单体化方法。周晓敏等（2016）采用倾斜影像联合空中三角测量技术，通过多视影像密集匹配和自动纹理关联，实现城市高精度真三维模型的构建。倾斜摄影技术为三维模型领域带来新的方法，但该类方法计算过程复杂且对数据质量具有较高的要求，所构建的三维模型在近地面时常存在纹理模糊、丢失、扭曲形变等问题，无法还原精细、完整的真实建筑物的空间信息（王琦 等，2012；张茂正 等，2022）。此外，建筑单体化还需进行二次操作（包括建筑结构重建与纹理贴图），耗时更长。
近年来，高分辨率卫星的飞速发展，为地物识别分析提供更丰富的途径和资源（王艳阳 等，2020）。高分辨率卫星数据集空间分辨率高，地物边界、形状和纹理也更加清晰，足以支撑对目标地物的识别，且覆盖范围大、采集周期较短、成本相对较低、受气象条件影响较小，使得利用高分辨率卫星影像快速制作大范围三维建筑物模型成为现实（陈良超 等，2018）。如曹治国等（2006）利用IKONOS卫星立体像对实现城市场景的快速三维重建。龙北平等（2021）基于无人机遥感影像利用迁移学习法实现乡村建筑物的快速检测，并结合参数化建模方法完成乡村区域建筑物的三维模型重建。为了更好地满足精细化实景三维建模的需求，基于多源数据融合的三维建模成为主流研究方向。目前，常见的融合建模方法主要结合航空摄影技术与LiDAR或地面近景摄影技术（连蓉 等，2017）。如张俊辉等（2020）利用WorldView-3卫星、GeoEye-1卫星影像和互联网众源影像完成迪拜市建筑物单体化建模。孙保燕等（2019）融合航摄影像与地面照片重建桂林市靖江王陵的三维模型。Yu等（2021）利用深度学习从航空影像中提取建筑轮廓并构建一级细节（LOD1）模型。上述研究中，最优纹理的挑选与映射仍是三维重建需攻克的关键技术。大多数研究方法均围绕城市三维建模展开，鲜少有针对农村地区三维建筑建模的一套完整方案。若直接将城市三维建模方法应用在农村地区，会存在投资成本高、维护周期长等问题。
鉴于此，本文提出一种基于多源数据融合的农村建筑智能识别与三维建模方法，基于高分遥感影像识别建筑的轮廓，形成基础白模，然后依靠现场采集人员利用手机设备完善模型细节，最后提供多端设备及三维技术展示建模成果。并以广东省云浮市新兴县河村单体建筑为建模对象，采集建立了村庄的精细化三维建筑模型，以期实现乡村精细化的管理。

1 研究方法

在农村地区，众包建模在资金投入方面显然比倾斜摄影等建模方法更具成本优势，但众包建模往往需要在操作流程上简单易用，以便公众参与。本文提出的基于多源数据融合的农村建筑智能识别与三维建模方法，分为粗模生成和深化建模2个阶段。在粗模生成阶段，基于高分辨率遥感影像利用深度学习算法初步勾勒建筑基本形态，包括位置、尺寸及方位；为解决由模型精度不高引起的建筑轮廓畸形等问题，提出建筑轮廓正则化算法和自适应的建筑校正算法；融合农村的建筑高度信息则可拉伸成基础三维白模。在深化建模阶段，现场采集人员在基础白模的基础上，通过模型替换、尺寸调整、纹理贴图等方式，逐步深化为精细化的三维建筑模型。最后，通过自动化的三维模型融合技术形成完整的农村电子沙盘，支撑智慧农村建设的各项应用。总体技术流程如图1所示。
图1 农村建筑建模总体技术流程

Fig.1 Overall technical flow of rural building modeling

1.1　基于Mask R_CNN的建筑识别

基于深度学习的建筑目标提取已被证明比传统的方法更有效（Bittner et al., 2018；胡舒 等，2020），其中，Mask R_CNN算法（He et al., 2017；陆清屿 等，2021）在建筑物识别方面表现出鲁棒性，因此，利用Mask R_CNN算法实现建筑物的自动识别，其技术路线如图2所示，主要分为模型训练和模型测试2个阶段。首先，从影像数据截取建筑物遥感影像建立样本训练集，利用LabelMe标注工具标记出遥感影像中建筑物的轮廓；然后，将训练集输入到Mask R_CNN网络架构中，经过多次迭代得到最优的建筑目标识别模型。Mask R_CNN能同时分割出建筑与背景部分，对于每一个建筑都能产生与原图相同大小的分割掩膜。
图2 建筑物目标识别技术路线

Fig.2 The technology route of building object recognition

基于Mask R_CNN算法的建筑物目标识别方法步骤为：首先，将裁剪好的遥感影像输入到预训练好的神经网络（卷积层1）中进行卷积、池化，得到对应的特征图（图3）；接着，对特征图的每个像素设定固定的感兴趣区域（ROI）数量，从而获得多个候选ROI；然后，将候选ROI输入至区域建议网络（RPN）进行前景（建筑物）和背景分割以及边界框优化，精炼出前景得分最高的ROI；下一步，将精炼后的ROI进行ROI Align操作，使得特征图像素能与原图像素完全对齐；最后对ROI通过卷积层2进行建筑分类、边框回归和建筑掩膜生成。
图3 Mask R_CNN算法的核心网络结构

注：改绘自文献（李大军 等，2019）。

Fig.3 The core network structure of the Mask R_CNN algorithm

1.2　建筑轮廓提取

建筑物目标识别模型输出的结果为掩膜图像，而粗模生成需得到建筑的底部轮廓，因此需要从掩膜图像中提取建筑外轮廓，并对建筑轮廓正则化。本文结合Ostu算法（Ostu, 2007；宋森森 等，2019）对掩膜图像进行阈值分割并提取建筑外轮廓。Ostu算法原理是根据直方图确定阈值将灰度图像分割成目标和背景2部分，使得目标与背景的类间距离最大。结合k-means聚类算法，建筑轮廓提取与正则化步骤为：
1）输入掩膜图像，利用Ostu算法进行分割，取9×9的内核执行2次开运算，平滑图像边缘、消除细狭缝、截断细连通；
2）提取分割后的几何轮廓，得到多个轮廓多边形 P i         ( i = 1,2 , . . . , n )；
3）计算图像中每个多边形的面积 A P i   ( i = 1,2 , . . . , n )，如果 A P i  值在十分位数以下则直接删除；利用k-means聚类算法对 A P i  进行分类，将聚类集合中数量少且面积过小的多边形删除；
4）计算剩下的所有多边形的最小外接矩形 P i       *   ( i = 1,2 , . . . , n )，设定阈值T，如果最小外接矩形面积与多边形面积的比值小于阈值，即 A P i * / A P i < T，则令 P i       *  为最终建筑轮廓；
5）利用Douglas-Peucker算法对 P i    进行优化，减少建筑轮廓中重复或过于密集的点，并以最终的优化结果为建筑轮廓。

1.3　自适应的建筑校正算法

通常，由于影像分辨率、树木遮挡、算法识别精度等影响因素，识别的建筑轮廓并不能完美匹配真实情况，会出现多个建筑识别为一个建筑、建筑方位抖动、建筑边角缺失等问题。考虑到农村建筑一般具有尺寸和方位的一致性，提出自适应的模型校正方法，对建筑大小和方位施加约束。

1.3.1　建筑分割

遥感影像中的农村地区成片建筑在尺寸和风格上基本一致且布局紧密，如图4-a所示。但受树木、地面等干扰物的影响，或因相邻建筑分布紧密、建筑物目标识别模型精度不足等，掩膜图像会存在较小或很大的建筑轮廓。通过计算掩膜面积发现：一定区域范围的建筑面积呈近似正态分布。因此，可利用正态分布阈值控制方法对识别后的建筑大小进行校正。
图4 建筑掩膜面积正态分布验证 [a. 原始遥感建筑影像；b. 建筑掩膜图像；c. 掩膜像素面积计算；d. 原始影像与掩膜像素面积叠加图；e. 掩膜面积直方图及正态曲线；f. 根据正态分布阈值控制删除的建筑（红色线框）]

Fig.4 Verification of normal distribution of building mask area[a. Original remote sensing building image; b. building mask image; c. calculation of mask pixel area; d. overlay of original image and mask pixel area; e. mask area histogram and normal curve; f. controlled deletion of buildings according to normal distribution threshold (red frame)]

假设目标区域内有n个建筑，且所有的建筑像素面积 A M = { A 1 , A 2 , . . . , A m , . . . , A n }可用正态分布表示：
f ( x ) = 1 2 π A σ e x p -   ( x - A μ ) 2 2 A σ 2
式中： A μ为区域内建筑像素面积的均值； A σ为区域内建筑像素面积的标准差。
如果第m个建筑像素面积 A m   ( m = 1 , 2 , . . . , n )在区间 ( A μ - A σ * λ 1 , A μ + A σ * λ 2 )内，则不做处理；其中， λ 1、 λ 2为正态分布阈值控制参数。如果 A m < A μ - A σ * λ 1，则将该建筑剔除；如果 A m > A μ + A σ * λ 2，则将该建筑分割为面积较小的2个建筑。

1.3.2　建筑旋转

由于建筑一般为成片修建，所以相邻的建筑朝向应该是一致的。建筑分割后，对其进行方位矫正，具体步骤如下为：
1）遍历目标区域内所有建筑，计算第j （j=1，2，...，n）个建筑的底面面积 A j    ；
2）以第j个建筑的底面多边形中心为目标位置，建立缓冲区，其中缓冲区的半径为： R = t A j ，其中 t为调整缓冲半径的参数，一般取3；
3）在缓冲区内遍历第j个建筑的相邻建筑k（k=1，2，...，n），取k的底面多边形中心，计算第j个建筑与第k个建筑之间的距离d： d k j = ( x k - x j ) 2 + ( y k - y j ) 2 ；
4）比较 d k j与R的大小，如果 d k j ≤ R，则将此相邻建筑记入集合 S，集合 S包括第j个建筑；
5）设建筑轮廓的长底边为标准，计算集合 S中所有建筑房屋朝向，并将结果记入集合 ε = { ε j , ε k , . . . , ε n }。
6）对集合 ε中的元素按一定的角度阈值进行聚类，若相近角度的建筑数量超过一定阈值，则认为该片区建筑呈现相同的建筑朝向，并对这些建筑进行旋转，使该缓冲区内的建筑旋转角度一致。

1.4　CSG表示法

构造实体几何（CSG）的基本思想是通过对基本CSG体素如球、圆柱体、立方体等进行几何变换、局部修改和布尔运算构造空间实体（隋刚 等，2003）。该方法建模速度快，对农村地区简单型建筑模型的适配性较强，可用于本文建筑模型库的构建。
建筑物CSG建模流程包括2个部分：1）分析三维建筑模型的基本CSG体素；2）对基本CSG体素进行空间几何变换和布尔运算构建三维建筑模型。如图5所示，构建过程为：首先，根据测量的长宽高确定房屋最大外轮廓（M1）、阳台轮廓（M2）以及第一层平台轮廓（M3）；然后，利用差运算（¬）：M1¬M2¬M3，最后得到二层全敞开式阳台型房屋模型。
图5 二层全敞开式阳台型建筑构造过程

Fig.5 Construction process of two-floor fully open balcony type building

同理，利用CSG对不同的屋顶样式进行构造，如带女儿墙的平屋顶、人字形屋顶，步骤见表1。
表1 基本屋顶模型生成算法

Table 1 Basic Roof Model Generation Algorithm

屋顶样式 屋顶效果 CSG运算过程

平屋顶

（PingRoof）

①定义屋面板宽、长、高 [ w , d , h ]，构造一个立方体C1；

②定义墙厚t 1、屋面板厚t 2，以C1的底面中心为原点，垂直底边的两方向分别为x、y轴建立坐标系，构造新的立方体C2，且C2的宽、长、高分别为 w - 2 t 1 , d - 2 t 2 , h；

③利用布尔运算，对2个立方体进行差运算，则PingRoof=C1¬C2。

人字型屋顶

（RidgeRoof）

①定义屋顶高度、屋面坡度 g , θ，坡面长l；

②建立一侧坡面由立方体 k , c , t构建，其中 k = g / s i n θ， c = l，t为坡面厚度，将其沿着y轴旋转角度θ，并移动一定距离z=g，最终构造得到图形T1；

③另外一侧坡面可通过x轴镜像方式，构造得到图形T2；

④建立屋顶横梁，其由立方体 2 * t * s i n θ , c , t构建，并移动距离z=g到屋顶位置，最终构造得到图形T3；

⑤将左右屋顶坡面和屋顶横梁合并得到人字形屋顶，RidgeRoof=T1 U T2 U T3。

1.5　数据组织

分别建立建筑数据库，包括场景表（scene表）、建筑单体信息表（building表）、建筑模型模板表（template表）和建筑纹理表（texture表），如图6所示。scene表是以村或其他区域为单元，方便数据对接和业务管理。building表和texture表分别存储遥感影像识别建立的建筑数据及纹理数据。template表存储CSG三维建模模版，通过传递对应参数可生成三维模型。需要注意的是，CSG引擎生成的模型并不一定能直接用于纹理贴图，会出现错乱等问题，可通过顶点关系和参数重新计算UV及补充顶点。
图6 建筑数据组织

Fig.6 Building data organization

2 实验与分析

本文以广东省云浮市新兴县河村为研究区域，该地区建筑既保留原始农村风貌，又有不少新式建筑，单体面积小，楼高一般不超过3层。基于必应影像数据识别建筑物，并以手机摄影图像作为建筑立面纹理，采用众包的方式实现河村地区的三维建筑重建。

2.1　粗模生成

2.1.1　基于遥感影像识别建筑物

采用Mask R_CNN建筑目标识别模型，在必应影像地图上截取大量建筑数据集，图片数据包括中国各大城乡建筑样式，具有形状、样式、光谱特征等内容多样化的特点，能满足模型训练的需要。为了更好地评估模型，将数据集按照8∶2划分训练集和验证集。训练集用于模型算法训练，共800张。测试集共200张用于测试模型的性能。数据集的样例见图7。
图7 建筑样本示例

Fig.7 Building sample example

精度分析方面，采用精度（Accuracy Precision, AP）指标及交并比（Intersection over Union，IoU）进行评估，结果表明：要求交并比为AP50时，模型精度为0.578；AP60时，模型精度为0.443；AP70时，模型精度为0.298；其中，AP50、AP60、AP70分别表示交并比（Intersection over Union, IoU 1）在50%、60%和70%时的识别精度。
为了展示模型的分割效果，从测试集中随机挑选4个样本图像，包括均匀分布型建筑、疏松型建筑和密集型建筑，从不同角度且密集度较高的建筑物图片展示实验结果，如图8所示。
图8 不同密集程度建筑物识别与轮廓提取结果

图注：a、b、c和d为原始图像；a1、b1、c1和d1为Mask R_CNN模型输出的掩膜结果；a2、b2、c2和d2为建筑轮廓提取结果；黄色线框表示规则的矩形轮廓，绿色线框表示不规则多边形轮廓。

Fig.8 The results of building recognition and contour extraction with different degrees of density

从图8可知，模型识别精度与建筑物的形态、布局、清晰度高度相关，当建筑物形态规则且分布整齐时，模型识别精度高，检测效果良好，如图8-c2和d2所示，而当建筑物呈密集式分布，轮廓清晰度低，人眼也难以分辨时，模型识别精度较低，检测难度也更大，如图8-a2和b2所示。在图8-b中，图像背景噪音也是影响识别精度的因素之一。

2.1.2　生成基础白模

建筑轮廓提取后，根据先验知识自定义建筑初始高度拉伸成基础三维白模，如河村地区的建筑多为2~3层，高度约为7~10 m，可将白模统一高度初始设置为10 m，为乡村管理和乡村规划提供基础数据。若存在无法识别或需补充的建筑，可通过手工操作补充添加。

2.2　深化建模

2.2.1　建立农村建筑模型库

上述基础白模可用于初步认识该地区的建筑分布及简单的农村信息化管理。但模型精细度不足以反映河村的真实场景，因此可在基础白模上继续深化建模。调研人员预先对河村地区建筑进行摸底调查，对该地区的建筑类型进行分析整理，利用CSG方法构建河村建筑模型库，最大程度地还原当地建筑风格，部分模型如图9所示，包括老式建筑、新式建筑、附属类建筑和公共设施等多套模型。
图9 河村建筑模型库

Fig.9 Building model library of He Village

此外，考虑到农村地区建筑类型多样性以及屋顶样式复杂化，分别从建筑类型、楼层、屋顶和骑楼风格4个维度对建筑模型进行分类，各维度的下级内容如表2所示，能够覆盖实验区域河村的90%建筑风格类型。用户可通过层数、屋顶样式等快速过滤筛选，定位到目标建筑模型，如图10所示。为了满足后续的纹理贴图、模型尺寸调整等建模步骤，建立CSG模型时采用按层、按模块（如屋顶模块、阳台模块等）的组合方式，并具备单面选择和参数化修改的能力。
表2 建筑库模型分类

Table 2 Classification of building library models

第一级目录 第二级分类
类型 框架楼、垃圾站、瓦房、车库、围栏、大门、 平台、门廊、别墅、连廊、学校、厕所、厨房
楼层 1~6层
屋顶 平屋顶、斜屋顶、人字屋顶、无屋顶
骑楼风格 骑楼向前右、骑楼向前、骑楼向前左
图10 建筑库模型快速检索

Fig.10 Fast retrieval of building library models

2.2.2　建筑尺寸调整

外业采集人员根据现场情况将基础白模替换为基于CSG的精细化模型，此时的模型尺寸为模板尺寸，故需根据测量结果重新生成。外业人员借助外部测量工具，如步数测量、卷尺，可得到农村建筑层长宽高尺寸，接着可在手机端上应用测量结果实现建筑模型尺寸调整，具体操作如图11所示。图11-a为原模型展示，图11-b效果图为模板模型的尺寸示意图，指明CSG构造时可调整的参数。采集人员根据现场测量结果输入对应的参数，如建筑每一层的长宽高及阳台的长宽高，最后利用CSG的参数化构造技术实时生成调整尺寸后的模型，在图11-a1展示。
图11 三层筒子楼模型尺寸调整示例

Fig.11 An example of model size adjustment of a three-floor bungalow

2.2.3　建筑纹理贴图

为了进一步还原真实场景，需对建筑模型赋予纹理信息。为提升作业效率，预设样本纹理库，包括标准纹理库和样本纹理库。标准纹理库是指地面、墙、栏杆、廊檐等无明显差异特征的纹理库，用于重复铺满某个建筑表面；样本纹理库是指具备一定普适性的、多要素叠合的建筑立面，如农村房屋侧面带窗户的墙面，用于单张铺满某个建筑表面。房屋正面具备较强的识别特征，如门、窗、对联、店面等均具有区域特征，宜采用手机拍摄的方式采集补充。由于CSG建模已采用分层、分模块的方式，故手机拍摄时也应逐层、逐模块补充纹理信息，以此实现最佳的建模效果。此外，拍摄得到的照片将保存到纹理库中，方便后续纹理复用，提高效率。
利用手机拍摄时具有一定局限，如因拍摄不便造成的拍摄不正或拍摄不全。因此需通过裁剪、拼接及校正等操作形成正射立面纹理图像。图12为某个建筑第一层的立面纹理获取流程，首先，分别对3张采集照片图12-a~c裁剪出对应的纹理图像区域，裁剪范围如图12-a1~c1所示，然后，利用透视变换算法将其拉伸矫正。最后将裁剪后的纹理图像进行拼接，形成正射建筑立面纹理图像，如图12-d所示，通过这种方式得到的建筑纹理真实感较强。
图12 图像裁剪与拼接

图注：a、b和c分别为原始图像，a1、b1和c1中的蓝色线为图像裁剪区域，d为最终拼接结果。

Fig.12 Image cropping and stitching

纹理拼接完成后，通过纹理映射技术将图12-d所示的纹理图像赋予三维模型对应的表面，形成带丰富立面纹理风格的三维建筑模型，结果如图13所示。
图13 纹理贴图

Fig.13 Texture mapping

2.2.4　模型深化

根据上述步骤构建精细化模型后，在单独浏览的情况下比较顺畅，但在大范围模型展示时则会出现卡顿现象，不利于全场景的展示和应用。基于此，本文提出模型优化策略，利用三维轻量化技术从模型优化、纹理治理、多级LOD等方面提升渲染性能，同时结合地形高程数据进行贴地融合，最终满足在手机端顺畅浏览的需求。最终效果如图14所示。
图14 云浮市新兴县河村三维建筑模型

Fig.14 3D building model of Hecun Village, Xinxing County, Yunfu City

3 结论

针对现阶段农村房屋数据较为稀缺，乡村信息化建设不足等现状，本文将高分辨率遥感影像与手机拍摄图像相结合，通过粗模生成和深化建模2个阶段实现三维建筑建模。在粗模生成过程中，利用Mask R_CNN算法基于高分辨率遥感影像识别建筑物，生成基础白模，勾勒建筑基本形态，包括位置、尺寸和方位，并提出了建筑轮廓正则化算法和自适应的建筑校正算法提高模型精度。在深化建模过程中，现场采集人员通过模型替换、尺寸调整、纹理映射等操作，逐步深化为精细化的三维建筑模型。最后，通过自动化的三维模型融合技术形成多端可访问的农村电子沙盘，支撑智慧农村建设的各项应用。并结合实地调研，实现广东省云浮市新兴县河村的三维建筑模型重建。与手工建模和倾斜摄影建模方法（谢小魁 等，2016；张春敏 等，2018；单杰 等，2019））相比，在数据获取方面更加便捷，可实现众包建模，节省了大量人力物力，具有采集成本低、更新周期短、简单易用等优点，对推进农村建筑智能化建模具有较强的实用价值及良好的应用前景。
当前本文所述农村智能建模方法还有一些需要改进和深化的地方：①对于遥感影像数据质量差和建筑分布密集的地区，模型识别精度还有待提高；②建筑的准确定位和方位比较难以把控，需补充完善策略帮助现场采集人员进行精准定位；③需建立一个能覆盖大范围地区的农村建筑模型库；④建筑立面纹理提取过程较为复杂，需要提高自动化能力。

脚注

1 * I o U = A r e a       o f     O v e r l a p / A r e a       o f     U n i o n，表示检测结果掩膜与直值掩膜之间的重叠程度，其中Area of Overlap为检测掩膜与直值掩膜的交集，Area of Union为检测掩膜与真值掩膜的并集，通常情况下，当 I o U ≥ 50 %时即认为检测成功。

陈 彪：参与论文统筹、论文指导和写作及校稿，论文实验分析；

彭欣月：参与论文的写作、实验分析和实地调研；

周素红：参与指导；

陈家亮：参与实验和实地调研；

孔宪娟：参与指导和校稿；

卞明月、林高远：参与实验。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
Bittner K, Adam F, Cui Shiyong, Kӧrner M, and Reinartz P. 2018. Building Footprint Extraction from VHR Remote Sensing Images Combined with Normalized DSMs Using Fused Fully Convolutional Networks. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 11 (8): 2615-2629.

曹治国，陈华. 2006. IKONOS卫星图像的快速三维场景重建. 计算机与数字工程，（11）：9-11，15.

Cao Zhiguo, and Chen Hua. 2006. Quick 3D Reconstruction of the IKONOS-Satellite Stereo Images. Computer & Digital Engineering, (11): 9-11, 15.

程慧. 2013. 基于图像的数字城市自动化重建技术研究. 哈尔滨：哈尔滨工程大学.

Cheng Hui. 2013. Research on Technology of Digital City Automatic Reconstruction Based on Image. Harbin: Harbin Engineering University.

陈良超，詹勇，王俊勇. 2018. 一种倾斜摄影实景三维模型单体化方法. 测绘通报，（6）：68-72，108.

Chen Liangchao, Zhan Yong, and Wang Junyong. 2018. A Method of Achieving Single Body for Real 3D Model Generated by Oblique Photography. Bulletin of Surveying and Mapping, (6): 68-72, 108.

古杰，周素红，闫小培，郑重. 2013. 中国农村居民生活水平的时空变化过程及其影响因素. 经济地理，33（10）：124-131.

Gu Jie, Zhou Suhong, Yan Xiaopei, and Zheng Zhong. 2013. Spatial-Temporal Variations of Rural Residents' Living Standard and Its Influence Factors in China. Economic Geography, 33(10): 124-131.

He K, Gkioxari G, Dollár P, and Girshick R. 2017. Mask R_CNN. Venice: IEEE International Conference on Computer Vision (ICCV), 1-12.

胡舒，王树根，王越，李欣. 2020. 基于Mask R_CNN的高分遥感影像建筑物目标检测研究. 测绘地理信息，46（1）：1-7.

Hu Shu, Wang Shugen, Wang Yue, and Li Xin. 2020. Building Object Detection in High-Resolution Remote Sensing Image Based on Mask R-CNN. Journal of Geomatics, 46(1): 1-7.

李大军，何维龙，郭丙轩，李茂森，陈敏强. 2019. 基于Mask-RCNN的建筑物目标检测算法. 测绘科学，44（10）：172-180.

Li Dajun, He Weilong, Guo Bingxuan, Li Maosen, and Chen Minqiang. 2019. Building Target Detection Algorithm Based on Mask R-CNN. Science of Surveying and Mapping, 44(10): 172-180.

Lin Chungan, and Nevatia R. 1998. Building Detection and Description from a Single Intensity Image. Computer Vision and Image Understanding, 72(2): 101-121.

李德仁，刘立坤，邵振峰. 2015. 集成倾斜航空摄影测量和地面移动测量技术的城市环境监测. 武汉大学学报（信息科学版），40（4）：427-435，443.

Li Deren, Liu Likun, and Shao Zhenfeng. 2015. An Integration of Oblique Photogrammetry and Mobile Mapping System for Urban Geographical Conditions Monitoring. Geomatics and Information Science of Wuhan University, 40(4): 427-435, 443.

连蓉，丁忆，罗鼎，魏文杰，李朋龙，林熙. 2017. 倾斜摄影与近景摄影相结合的山地城市实景三维精细化重建与单体化研究. 测绘通报，（11）：128-132.

Lian Rong, Ding Yi, Luo Ding, Wei Wenjie, Li Penglong, and Lin Xi. 2017. Research on 3D Fine Reconstruction and Model Singling of Mountainous City Combined with Oblique Photography and Close Range Photography. Bulletin of Surveying and Mapping, (11): 128-132.

陆清屿，李秋洁，童岳凯，王明霞，袁鹏成. 2021. 基于Mask R_CNN的行道树实例分割方法. 林业工程学报，6（5）：154-160.

Lu Qingyu, Li Qiujie, Tong Yuekai, Wang Mingxia, and Yuan Pengcheng. 2021. Building Object Detection in High-Resolution Remote Sensing Image Based on Mask R-CNN. Journal of Forestry Engineering, 6(5): 154-160.

龙北平，刘锟铭，李政. 2021. 乡村区域建筑物自动三维建模方法研究. 地理空间信息，19（7）：96-100.

Long Beiping, Liu Kunming, and Li Zheng. 2021. Research on Automatic 3D Modeling Method for Buildings in Rural Areas. Geospatial Information, 19(7): 96-100.

Ostu N. 2007. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems Man & Cybernetics, 9(1): 62-66.

隋刚，刘国栋，张锦. 2003. CSG方法在建筑物三维建模中的应用研究. 太原理工大学学报，34（6）：691-693，718.

Sui Gang, Liu Guodong, and Zhang Jin. 2003. Study on Applying CSG Method to 3D Model of Buildings. Journal of Taiyuan University of Technology, 34(6): 691-693, 718.

单杰，李志鑫，张文元. 2019. 大规模三维城市建模进展. 测绘学报，48（12）：1523-1541.

Shan Jie, Li Zhixin, and Zhang Wenyuan. 2019. Recent Progress in Large-Scale 3D City Modeling. Acta Geodaetica et Cartographica Sinica, 48(12): 1523-1541.

孙保燕，杨正阳，陈款，涂峻伦. 2019. 融合航摄影像与地面照片三维重建技术在考古中的应用. 科学技术与工程，19（17）：262-266.

Sun Baoyan, Yang Zhengyang, Chen Kuan, and Tu Junlun. 2019. Application of Three-Dimensional Reconstruction Technology Combining Aerial Photography and Ground Photography in Archaeology. Science Technology and Engineering, 19(17): 262-266.

宋森森，贾振红，杨杰，Nikola K. 2019. 结合Ostu阈值法的最小生成树图像分割算法. 计算机工程与应用，55（9）：178-183.

Song Sensen, Jia Zhenhong, Yang Jie, and Nikola K. 2019. Image Segmentation Algorithm of Minimum Spanning Tree Combined with Ostu Threshold Method. Computer Engineering and Applications, 55(9): 178-183.

王琦，葛文庚. 2012. 3D建筑重建的纹理提取与映射方法的实现. 四川大学学报（工程科学版），44（S1）：198-202.

Wang Qi, and Ge Wengeng. 2012. 3D Building Reconstruction Texture Extraction and Mapping Implementation. Journal of Sichuan University (Engineering Science Edition), 44(S1): 198-202.

文雄飞，张穗，张煜，李喆. 2016. 无人机倾斜摄影辅助遥感技术在水土保持动态监测中的应用潜力分析. 长江科学院院报，33（11）：93-98.

Wen Xiongfei, Zhang Sui, Zhang Yu, and Li Zhe. 2016. Potential of Remote Sensing Technology Assisted by UAV Oblique Photography Applied to Dynamic Monitoring of Soil and Water Conservation. Journal of Yangtze River Scientific Research Institute, 33(11): 93-98.

王利忠，张宏海，仲波，牛铁. 2019. 基于深度学习的高分遥感影像乡镇建筑物识别方法. 科研信息化技术与应用，10（1）：88-95.

Wang Lizhong, Zhang Honghai, Zhong Bo, and Niu Tie. 2019. Township Buildings Identification Using Deep Learning on High-Resolution Satellite Imagery. E-Science Technology & Application, 10(1): 88-95.

王艳阳，梁宇哲，罗伟玲，谢贻新，刘济坤. 2020. 基于高分遥感影像和POI的国土空间规划现状细化调查. 热带地理，40（4）：649-658.

Wang Yanyang, Liang Yuzhe, Luo Weiling, Xie Yixin, and Liu Jikun. 2020. Investigating Land Use Types for the Spatial Planning of National Land Based on High-Resolution Remote Sensing Imagery and Point of Interest. Tropical Geography, 40 (4): 649-658.

徐涛，朱紫阳，丁华祥，肖建能，赵耀龙. 2022. 乡村振兴背景下广东省农村宅基地房屋特征. 热带地理，42（1）：148-159.

Xu Tao, Zhu Ziyang, Ding Huaxiang, Xiao Jianneng, and Zhao Yaolong. 2022. The Characteristics of Rural Homestead Housing in Guangdong Province Under the Background of Rural Revitalization. Tropical Geography, 42 (1): 148-159.

谢小魁，陈青海，谢红霞，周清. 2016. 基于遥感和地理信息系统的建筑三维快速建模——以湖南农业大学为例. 绿色科技，（4）：182-184.

Xie Xiaokui, Chen Qinghai, Xie Hongxia, and Zhou Qing. 2016. Three-Dimensional Rapid Modeling of Architecture Based on Remote Sensing and GIS: Taking the Hunan Architecture University as an Example. Journal of Green Science and Technology, (4): 182-184.

Yu Dawen, Ji Shunping, Liu Jin, and Wei Shiqing. 2021. Automatic 3D Building Reconstruction from Multi-View Aerial Images with Deep Learning. ISPRS Journal of Photogrammetry and Remote Sensing, 171: 155-170.

张春敏，丁亚杰，徐庆. 2018. 基于倾斜摄影技术的城市三维快速建模方法研究. 现代测绘，41（6）：33-35.

Zhang Chunmin, Ding Yajie, and Xu Qing. 2018. Research on Urban Three-Dimensional Rapid Modeling Method on Tilt Photography. Modern Surveying and Mapping, 41(6): 33-35.

张俊辉，艾海滨，王庆栋，韩晓霞. 2020. 高分辨率光学卫星影像全球重点区域三维建模方法——以迪拜市为例. 测绘通报，（7）：22-28.

Zhang Junhui, Ai Haibin, Wang Qingdong, and Han Xiaoxia. 2020. 3D Modeling Method of High-Resolution Optical Satellite Imagery for Global Key Regions: Taking Dubai City as an Example. Bulletin of Surveying and Mapping, (7): 22-28.

张茂正，燕宁娜，赵振炜. 2022. 基于空地影像联合的精细化三维建模应用研究. 工程建设，54（5）：1-5.

Zhang Maozheng, Yan Ningna, and Zhao Zhenwei. 2022. Research on Application of Refined 3D Modeling Based on Air-Ground Image. Engineering Construction, 54(5): 1-5.

周晓敏，孟晓林，张雪萍，弥永宏. 2016. 倾斜摄影测量的城市真三维模型构建方法. 测绘科学，41（9）：159-163.

Zhou Xiaomin, Meng Xiaolin, Zhang Xueping, and Mi Yonghong. 2016. A Method of Urban Real 3D Model Building Based on Oblique Photogrammetry. Science of Surveying and Mapping, 41(9): 159-163.

Options
文章导航

/

〈 〉