將無人機(jī)捕獲的圖像中的缺陷數(shù)據(jù)映射和建模到BIM中，用于建筑外墻檢查

Mapping and modelling defect data from UAV captured images to BIM for building external wall inspection

作者：

Yi Tan（Key Laboratory for Resilient Infrastructures of Coastal Cities (Shenzhen University), Ministry of  Education）

Geng Li（Key Laboratory for Resilient Infrastructures of Coastal Cities (Shenzhen University), Ministry of  Education）

Ruying Cai（Key Laboratory for Resilient Infrastructures of Coastal Cities (Shenzhen University), Ministry of  Education）

Jun Ma（Department of Urban Planning and Design, University of Hong Kong, Hong Kong, China）

Mingzhu Wang（School of Architecture, Building and Civil Engineering, Loughborough University, United Kingdom）

期刊：Automation in Construction

原文連接：https://doi.org/10.1016/j.autcon.2022.104284

Q1文章提出的工程問題是什么？有什么實(shí)際工程價值？

隨著社會的發(fā)展，高層住宅建筑和辦公建筑已成為現(xiàn)代建筑不可或缺的組成部分。然而，隨著部分建筑使用年限的增加，存在著開裂、外墻脫落等安全隱患，將嚴(yán)重危害公共安全，造成經(jīng)濟(jì)損失。如果不及早發(fā)現(xiàn)這些安全問題，建筑物的健康狀況將迅速惡化，導(dǎo)致災(zāi)難性后果。

對外墻缺陷進(jìn)行安全檢查和管理，以便及時采取有效的維護(hù)措施，對于消除安全隱患，防止人員傷亡和經(jīng)濟(jì)損失非常重要。

Q2文章提出的科學(xué)問題是什么？有什么新的學(xué)術(shù)貢獻(xiàn)？

傳統(tǒng)的高層建筑外墻檢測方法要求檢測人員在高空作業(yè)，人工識別缺陷，這既危險又低效。近年來，使用無人機(jī)（UAV）檢查建筑物外墻的趨勢越來越明顯。

本文提出了一種通過將UAV圖像中的缺陷數(shù)據(jù)映射到BIM模型并將缺陷建模為BIM對象來管理建筑外墻檢測結(jié)果的方法。

考慮到單體建筑規(guī)模較小，本文提出了一種簡化的坐標(biāo)轉(zhuǎn)換方法，將實(shí)際缺陷位置轉(zhuǎn)換為BIM模型中的坐標(biāo)。同時，提出了一種基于深度學(xué)習(xí)的實(shí)例分割模型，用于檢測捕獲圖像中的缺陷并提取其特征。最后，識別出的缺陷被建模為具有詳細(xì)信息的新對象，并映射到相關(guān)BIM組件的相應(yīng)位置。

Q3文章提出的技術(shù)路線是什么？有什么改進(jìn)創(chuàng)新之處？

本文主要提出了缺陷檢測和映射框架，圖1顯示了基于UAV攝影測量自動獲取圖像信息并與BIM集成的建筑物外墻缺陷檢查和管理的流程框架。建議的框架包括：1）準(zhǔn)備工作和數(shù)據(jù)采集與處理，2）坐標(biāo)轉(zhuǎn)換，3）缺陷檢測和定位，以及4）將已識別的缺陷映射到BIM模型。  

圖1  缺陷檢測和映射框架

①準(zhǔn)備工作和數(shù)據(jù)采集與處理

準(zhǔn)備工作包括三個階段。第一階段是初步準(zhǔn)備階段，包括：1）注冊UAV并獲得主管部門的飛行許可；2）確保被檢查建筑不在禁飛區(qū)；3）訪問和調(diào)查現(xiàn)場條件，以評估可能的風(fēng)險因素。

第二階段是制定飛行計劃，包括：規(guī)劃UAV的飛行路徑、設(shè)置拍攝圖像的位置、起飛和著陸點(diǎn)、UAV與目標(biāo)之間的垂直距離等。

需要計算UAV攝像頭的視野（FOV），它是覆蓋整個目標(biāo)檢測墻的關(guān)鍵之一。FOV的示例如圖2（a）所示，而UA V攝像機(jī)的參數(shù)與FOV之間的關(guān)系分別如圖2（b）和圖2（c）所示。

準(zhǔn)備工作的第三階段是根據(jù)攝像機(jī)的視場處理被檢測建筑的BIM模型。在BIM模型中，根據(jù)FOV對檢測到的外墻進(jìn)行分割，并使用Dynamo提取每個分割區(qū)域的中心點(diǎn)，Dynamo是Revit的可視化編程應(yīng)用程序，它集成了不同的功能模塊以訪問BIM數(shù)據(jù)。首先，使用Dynamo中的“選擇面”功能模塊選擇BIM模型的外墻（“曲面”），并通過“曲線起點(diǎn)”提取墻的四個角點(diǎn)。然后，作者通過編程創(chuàng)建了“選擇基點(diǎn)”功能模塊，選擇其中一個角點(diǎn)作為模型外墻的基點(diǎn)。然后，通過“Element.GetParameterValueByName”和“Geometry.Translate”獲得墻的大小。最后，通過“多邊形.中心”獲得分割區(qū)域的中心點(diǎn)。

圖2  （a）UAV攝像頭的FOV（b）、（c）UAV攝像頭參數(shù)與FOV之間的關(guān)系

準(zhǔn)備工作完成后，使用UAV采集建筑外墻數(shù)據(jù)。在拍攝目標(biāo)墻的過程中，UAV的飛行平面始終與墻平行，UAV攜帶的相機(jī)鏡頭直接朝向墻，以防止鏡頭的俯視圖或俯視圖以及相應(yīng)中心點(diǎn)的偏移造成圖像偏差。必須安全地收集圖像，但相機(jī)和墻壁應(yīng)盡可能靠近，因?yàn)檩^短的距離可以提高圖像分辨率。圖3中示出了UAV攝影點(diǎn)的位置和FOV中相應(yīng)墻的中心點(diǎn)的示例。

圖3 UAV的位置和墻的中心

②坐標(biāo)變化

本研究的坐標(biāo)轉(zhuǎn)換過程如下：首先，將獲得的UA V圖像坐標(biāo)轉(zhuǎn)換為分割墻區(qū)域中心點(diǎn)的相應(yīng)坐標(biāo)。上述轉(zhuǎn)換是在WGS84坐標(biāo)系中進(jìn)行的。然后，使用我們提出的方法，將WGS-84中分段墻區(qū)域中心點(diǎn)的坐標(biāo)轉(zhuǎn)換為平面坐標(biāo)，然后再轉(zhuǎn)換為BIM坐標(biāo)，如圖4所示。

圖4 將UAV圖像中的坐標(biāo)轉(zhuǎn)換為BIM模型中的坐標(biāo)的擬議過程

③缺陷檢測和定位

要將缺陷映射到BIM模型，第一步是檢測并定位圖像中的缺陷，然后映射BIM模型中的相應(yīng)位置。

本研究使用基于深度學(xué)習(xí)的缺陷檢測方法來檢測UA V圖像中的缺陷并提取其特征。具體而言，基于稱為Mask R-CNN的對象實(shí)例分割框架，開發(fā)了一個深度學(xué)習(xí)模型。基于Mask R-CNN開發(fā)我們的模型的原因是，它可以生成每個缺陷的像素級分割、輪廓和邊界框，這意味著可以獲得詳細(xì)信息，包括缺陷類型、位置、數(shù)量、特征（例如面積、寬度、長度等）。

如圖5所示，掩碼RCNN的工作流程類似于更快的R-CNN。它首先通過幾個CNN層提取圖像特征，然后訓(xùn)練區(qū)域建議網(wǎng)絡(luò)（RPN）生成區(qū)域建議，然后生成感興趣區(qū)域（ROI）。主要區(qū)別在于，在Mask R-CNN中添加了一個分支來預(yù)測每個RoI的分割掩碼，其過程與現(xiàn)有的分類和包圍盒回歸平行。

圖6顯示了使用掩模R-CNN的缺陷檢測結(jié)果的一個示例。每個缺陷都用一個邊界框來標(biāo)識，該邊界框指示其類型和一般位置，并用不同的顏色（代表像素值）進(jìn)行分割，以反映詳細(xì)的特征。

圖5 R-CNN的工作流程

圖6 R-CNN識別缺陷的一個示例

然后，自動讀取每個圖像的尺寸。圖像的寬度用W表示，圖像的高度用H表示，圖像的左上角作為原點(diǎn)。然后，利用深度學(xué)習(xí)模型的檢測結(jié)果，提取缺陷輪廓的像素坐標(biāo)和缺陷的特征（如長度、寬度和脫落面積），并導(dǎo)出到數(shù)據(jù)庫中。根據(jù)之前介紹的圖像和FOV的比例，計算缺陷的真實(shí)尺寸和位置。具體而言，計算缺陷輪廓的像素坐標(biāo)與FOV中心20之間的實(shí)際水平和垂直距離。計算出的實(shí)際缺陷位置也會自動生成到數(shù)據(jù)庫中，用于后續(xù)映射。

④將缺陷數(shù)據(jù)映射到BIM模型

經(jīng)過計算和坐標(biāo)轉(zhuǎn)換，在數(shù)據(jù)庫中生成每個缺陷的數(shù)據(jù)，包括實(shí)際尺寸和位置信息。開發(fā)了一種將已識別缺陷的數(shù)據(jù)集成到BIM模型中的方法。本研究使用自定義參數(shù)化族對BIM模型中的建筑外墻缺陷進(jìn)行建模，然后通過調(diào)整族參數(shù)來表示不同的缺陷。

創(chuàng)建的族可以將每個缺陷建模為具有缺陷特征的BIM對象。在映射過程中，從數(shù)據(jù)庫中檢索每個缺陷的像素信息，并將其作為BIM中缺陷對象的族參數(shù)導(dǎo)入。這樣，缺陷的位置和尺寸參數(shù)都與BIM模型集成，便于可視化和管理缺陷，便于后續(xù)維護(hù)。

Q4文章是如何驗(yàn)證和解決問題的？

本研究提出了一種將外墻缺陷數(shù)據(jù)與BIM模型集成的方法。為了驗(yàn)證該方法檢測建筑物外墻的有效性，本研究選擇了深圳大學(xué)土木與交通工程學(xué)院實(shí)驗(yàn)樓的兩堵外墻，面積為23.2 m×18.8 m。

①圖像數(shù)據(jù)提取

首先，根據(jù)預(yù)設(shè)的UA V路徑平面圖，依次拍攝實(shí)驗(yàn)樓的外墻，并按順序存儲圖像。然后，基于Python的方法自動提取每幅圖像的GPS坐標(biāo)、圖像序列號、像素大小信息。提取的數(shù)據(jù)存儲在數(shù)據(jù)庫中，部分?jǐn)?shù)據(jù)如表所示。

②WGS-84坐標(biāo)到平面坐標(biāo)的轉(zhuǎn)換

獲取待測外墻GPS坐標(biāo)信息后，進(jìn)一步轉(zhuǎn)換為平面坐標(biāo)。由于目標(biāo)建筑面積較小，因此提出了一種簡化的坐標(biāo)轉(zhuǎn)換方法。

為了驗(yàn)證所提出的坐標(biāo)變換方法的準(zhǔn)確性，本研究選擇了兩條直線段的起點(diǎn)和終點(diǎn)。預(yù)先測量這四個點(diǎn)（P1、P2、P3和P4）的經(jīng)緯度坐標(biāo)以及兩條直線段的長度。然后，將兩組點(diǎn)的經(jīng)緯度坐標(biāo)轉(zhuǎn)換為平面坐標(biāo)，并再次計算轉(zhuǎn)換后的距離。

如表所示，點(diǎn)P1和P2之間的實(shí)際測量距離為9.96 m，而轉(zhuǎn)換為平面坐標(biāo)后計算的距離為9.95885 m。同樣，P3和P4之間的測量距離為4.56 m，而轉(zhuǎn)換后計算的距離為4.55735 m。可以看出，誤差以毫米為單位，可以忽略不計，表明所提出的簡化坐標(biāo)變換方法是有效的。

③平面坐標(biāo)到BIM坐標(biāo)的轉(zhuǎn)換

經(jīng)過一系列的坐標(biāo)變換，所有真實(shí)的外墻位置信息在BIM模型中都有對應(yīng)的點(diǎn)。最后，使用本文的開發(fā)方法，將點(diǎn)的位置自動轉(zhuǎn)換為BIM模型坐標(biāo)。生成的部分?jǐn)?shù)據(jù)如表所示。  

④將缺陷數(shù)據(jù)與BIM模型集成

坐標(biāo)變換后，使用經(jīng)過良好訓(xùn)練的深度學(xué)習(xí)模型自動檢測UAV捕獲的每個圖像中的缺陷。深度學(xué)習(xí)模型的訓(xùn)練過程中的損失如圖7所示，最終實(shí)現(xiàn)了收斂。最后，將訓(xùn)練后的模型應(yīng)用于本案例研究的UAV圖像中的裂紋檢測和特征提取。

圖7 深度學(xué)習(xí)模式培訓(xùn)過程中的缺失

圖8示出了實(shí)驗(yàn)室建筑外墻圖像中確定的部分裂縫。使用邊界框和概率得分對每個裂紋進(jìn)行檢測和分割。從檢測結(jié)果中提取裂紋的特征（即尺寸和位置信息）。

圖8 使用經(jīng)過良好訓(xùn)練的深度學(xué)習(xí)模型識別裂紋

最后，Dynamo從數(shù)據(jù)庫中提取先前生成的缺陷信息。根據(jù)每個裂紋像素的位置信息，在BIM模型的相應(yīng)位置將每個裂紋建模為一個族。

所有缺陷均在相應(yīng)位置繪制并生成，BIM模型中包含詳細(xì)信息，這有助于評估狀況并規(guī)劃維護(hù)活動。我們案例研究中的一個結(jié)果示例如圖9所示。UAV圖像中檢測到的外墻裂縫在模型中建模為BIM對象，如圖9（a）所示。BIM模型中的裂紋與圖像中的裂紋之間的比較如圖9（b）所示。通過這種方式，設(shè)施經(jīng)理可以有效地檢查特定建筑構(gòu)件的缺陷，并將其與相關(guān)建筑信息相結(jié)合，以支持維護(hù)決策。

圖9

（a） 在BIM模型中映射和建模的裂紋，（b）圖像中的裂紋與BIM模型中的裂紋之間的比較

Q5文章有什么可取和不足之處？

邏輯結(jié)構(gòu)：本文的outline呈現(xiàn)在下文：

1.  Introduction

隨著使用年限的增加，高層建筑的外墻往往會出現(xiàn)各種各樣的缺陷，給安全帶來極大的風(fēng)險。因此，對外墻缺陷進(jìn)行安全檢查和管理，以便及時采取有效的維護(hù)措施，對于消除安全隱患，防止人員傷亡和經(jīng)濟(jì)損失非常重要

2. Related works

UAV在更新包括土木工程在內(nèi)的各個行業(yè)的安全管理實(shí)踐方面具有巨大潛力。BIM可以提供各個組件的全面數(shù)據(jù)以及三維可視化，因此可以大大提高建筑管理效率。

3. The Proposed Defect Detection and Mapping Framework

3.1 Preparatory work and data acquisition

介紹了準(zhǔn)備工作的三個階段和UAV攝影點(diǎn)的位置與FOV中相應(yīng)墻的中心點(diǎn)的關(guān)系

3.2 Coordinate transformation

上述轉(zhuǎn)換是在WGS84坐標(biāo)系中進(jìn)行的。然后，使用本文提出的方法，將WGS-84中分段墻區(qū)域中心點(diǎn)的坐標(biāo)轉(zhuǎn)換為平面坐標(biāo)，然后再轉(zhuǎn)換為BIM坐標(biāo)。

3.3 Detection and localization of defects

介紹了如何將缺陷映射到BIM模型

3.4 Mapping defect data to BIM model

經(jīng)過計算和坐標(biāo)轉(zhuǎn)換，在數(shù)據(jù)庫中生成每個缺陷的數(shù)據(jù)，包括實(shí)際尺寸和位置信息。本文開發(fā)了一種將已識別缺陷的數(shù)據(jù)集成到BIM模型中的方法。

4. Case Study

4.1.Extraction of image dat

根據(jù)預(yù)設(shè)的UAV路徑平面圖，依次拍攝實(shí)驗(yàn)樓的外墻，并按順序存儲圖像。然后，基于Python的方法自動提取每幅圖像的GPS坐標(biāo)、圖像序列號、像素大小信息。

4.2.Transformation of WGS-84 coordinate to plane coordinate

為了驗(yàn)證所提出的坐標(biāo)變換方法的準(zhǔn)確性，本研究選擇了兩條直線段的起點(diǎn)和終點(diǎn)。預(yù)先測量這四個點(diǎn)（P1、P2、P3和P4）的經(jīng)緯度坐標(biāo)以及兩條直線段的長度。然后，將兩組點(diǎn)的經(jīng)緯度坐標(biāo)轉(zhuǎn)換為平面坐標(biāo)，并再次計算轉(zhuǎn)換后的距離。

4.3.Transformation from plane coordinate to BIM coordinate

經(jīng)過一系列的坐標(biāo)變換，所有真實(shí)的外墻位置信息在BIM模型中都有對應(yīng)的點(diǎn)。

4.4. Integrating defect data with the BIM model

坐標(biāo)變換后，使用經(jīng)過良好訓(xùn)練的深度學(xué)習(xí)模型自動檢測UAV捕獲的每個圖像中的缺陷。

5. Conclusions

本研究提出了一種智能方法來檢測建筑物外墻31層的缺陷，并將缺陷映射到BIM模型進(jìn)行管理。UAV用于捕獲建筑物墻壁的現(xiàn)狀，并從捕獲的圖像中提取相關(guān)信息。然后，提出了一種簡化的坐標(biāo)轉(zhuǎn)換方法，將缺陷位置轉(zhuǎn)換為BIM模型中的坐標(biāo)。同時，開發(fā)了一種基于深度學(xué)習(xí)的檢測模型來自動識別和定位圖像中的缺陷。最后，使用Dynamo將缺陷自動建模為BIM族對象。建模缺陷附有特定信息，并在BIM模型的相應(yīng)位置可視化，使檢查員能夠有效評估結(jié)構(gòu)狀況并規(guī)劃維護(hù)工程。

本文章節(jié)設(shè)置完整、內(nèi)容表述邏輯性強(qiáng)，文獻(xiàn)綜述部分劃分小節(jié)，內(nèi)容更詳細(xì)。特別是在UAV攝像頭參數(shù)與FOV之間的關(guān)系描述部分，運(yùn)用大量示意圖加以表述，使讀者易于理解。在文章最后也分析了本文研究優(yōu)勢與局限性，有利于以后相關(guān)研究的發(fā)展。

研究方法：本文在第三章詳細(xì)介紹了缺陷檢測和映射框架，從中可以了解到基于UAV攝影測量自動獲取圖像信息并與BIM集成的建筑物外墻缺陷檢查和管理的流程。為了驗(yàn)證所提出的坐標(biāo)變換方法的準(zhǔn)確性，以實(shí)例進(jìn)行坐標(biāo)轉(zhuǎn)換，取得實(shí)驗(yàn)結(jié)果。

圖表形式：本文圖表種類多樣，內(nèi)容表述充實(shí)，不僅在架構(gòu)介紹部分有流程圖加以解釋，也有實(shí)驗(yàn)結(jié)果圖像化展示，有利于直觀的展現(xiàn)實(shí)驗(yàn)結(jié)果另外還包括模型輪廓展示。

Q6文章對自身的研究有什么啟發(fā)？

本文提出了一個基于UAV和BIM的建筑外墻缺陷檢測和管理的通用框架，該框架也適用于其他結(jié)構(gòu)的評估；開發(fā)了一種坐標(biāo)轉(zhuǎn)換方法，將真實(shí)數(shù)據(jù)映射到BIM模型，具有較高的精度。因此，建筑外墻的表面缺陷被映射到BIM模型。該方法不僅適用于單個建筑物，也適用于其他基礎(chǔ)設(shè)施。這種方法可以為bim結(jié)合隧道損傷檢驗(yàn)提供思路。

本文版權(quán)歸腿腿教學(xué)網(wǎng)及原創(chuàng)作者所有，未經(jīng)授權(quán)，謝絕轉(zhuǎn)載。

上一篇：D5渲染器常見問題：如何輸出通道圖？

下一篇：Dynamo for Revit 3Dy預(yù)覽背景灰色怎么辦？

猜你喜歡

Revit中導(dǎo)入CAD圖紙找不到的解決方法

Revit如何出圖？Revit出圖的六個步驟

Revit教程 | Revit安裝失敗怎么辦？

Revit如何導(dǎo)出內(nèi)建模型構(gòu)件？看完你就會了！

Revit中的“影響范圍”工具

Revit教程 | Revit做基坑放坡開挖方法之一

最新課程

施工BIM定制化培訓(xùn)

Revit

45163人已學(xué)

BIM土建實(shí)戰(zhàn)訓(xùn)練 - A部分標(biāo)準(zhǔn)化建模指導(dǎo)

Revit

6473人已學(xué)

BIM土建實(shí)戰(zhàn)訓(xùn)練 - B部分 場地與基礎(chǔ)模型創(chuàng)建

Revit

9526人已學(xué)

BIM土建實(shí)戰(zhàn)訓(xùn)練 - C部分 地下室土建模型創(chuàng)建

Revit

14459人已學(xué)

BIM土建實(shí)戰(zhàn)訓(xùn)練 - D部分 協(xié)同工作

Revit

2944人已學(xué)

BIM土建實(shí)戰(zhàn)訓(xùn)練 - E部分 裙房及塔樓模型創(chuàng)建

Revit

5442人已學(xué)

推薦專題

Revit下載全版本2014~2025專輯

Revit離線族庫、樣板、族樣板專輯

BIM電腦配置專輯

全國BIM等級考試相關(guān)內(nèi)容專題

全國BIM標(biāo)準(zhǔn)合集

Revit常見安裝問題專輯

1+X歷年真題合輯

Revit基礎(chǔ)工具詳解專輯

廣聯(lián)達(dá)軟件下載專題-MagiCAD下載,施工建模,模板腳手架,BIM5D

bim模型手機(jī)查看軟件專題

bim軟件_bim軟件有哪些_bim軟件介紹_bim軟件多少錢一套

Revit2024專題-Revit2024下載,Revit2024教程,Revit2024新功能

成塔混動設(shè)計

Revit2025專題

CATIA軟件專題

SketchUp軟件專題

V-Ray軟件專題

Enscape軟件專題

AutoCAD軟件專題

Revit2026專題-Revit2026下載,Revit2026系統(tǒng)配置,revit2026最新功能

3dsMax插件下載專題

SketchUp插件下載專題

BIM小別墅教程系統(tǒng)視頻+圖文教程

BIM等級考試二級建筑教程