Россия
Россия
Россия
В статье рассматриваются вопросы комплексного применения беспилотных летательных аппаратов и технологий искусственного интеллекта для мониторинга строящихся объектов. Проведен анализ публикаций и определены перспективные направления исследований в данной области. Приведены наиболее интересные реализованные практические кейсы и лучшие практики. Приведен пример реализованного программного кода для распознавания эллипсоидальных структур. Выявлены ключевые проблемы развития данного направления развития, а также технологические ограничения, препятствующие их тиражированию.
искусственный интеллект, ИИ, беспилотные летательные аппараты, БПЛА, объекты капитального строительства
Введение
Мониторинг строительства протяженных инфраструктурных объектов (автомобильные дороги, железнодорожные пути, трубопроводы, линии электропередач и др.) — сложная техническая задача, в особенности в труднодоступных и малонаселенных районах, таких как Сибирь, Дальний Восток, северные территории России. Традиционные технические средства и технологии мониторинга, включающие наземные геодезические измерения и ручной сбор данных, не позволяет оперативно получать и обрабатывать информацию, тем самым отрицательно влияя на сроки строительства и возможные лишние затраты. Применение беспилотных летательных аппаратов (БПЛА) значительно расширили возможности оперативного мониторинга и позволили оперативно получать цифровую информацию дистанционного зондирования непосредственно со строительных площадок. При этом технологии БПЛА до настоящего времени существенно зависели от человеческого фактора – операторов БПЛА и персонала, занимающегося автоматизированной обработкой данных, получаемых средствами дистанционного зондирования БПЛА. Развивающиеся в настоящее время технологии искусственного интеллекта (ИИ) позволяют существенно снижать роль человеческого фактора в управлении и обработке данных БПЛА.
Основой исследования стали публикации в международной базе Scopus, отобранные по ключевым словам «искусственный интеллект, здания и сооружения, БПЛА». Количество таких публикаций стремительно растет с 2020 года, что отражается на Рис. 1.
Рис. 1. Динамика изменения количества публикаций в Scopus
по ключевым словам «искусственный интеллект, здания и сооружения, БПЛА»
В Таблице 1 представлено краткое содержание наиболее цитируемых публикаций.
Таблица 1.
Краткое содержание наиболее цитируемых публикаций в Scopu
по ключевым словам «искусственный интеллект, здания и сооружения, БПЛА»
|
Авторы, год, ссылка |
Кол-во цитирований |
Краткое содержание публикации |
|
Dilshad, N. et al.,2020 [1] |
101 |
БПЛА предлагают гибкое и масштабируемое решение для проведения видеонаблюдения в сравнении с традиционными системами мониторинга, но в то же время имеют свои ограничения. В публикации рассматривается применение БПЛА в обнаружении объектов, мониторинге, поисково-спасательных операциях, выделяются ключевые пробелы в существующих исследованиях. Данный обзор является базой для возможных разработок в области компьютерного зрения на основе БПЛА. |
|
Cheng, C.-S. et al., 2021 [2] |
86 |
В публикации предложена архитектура свёрточной нейронной сети для оценки повреждений зданий после стихийных бедствий на основе изображений БПЛА и ИИ. Модель обучена на данных урагана «Дориан», использует функцию потерь EMD2 для учета класса повреждений, достигая точности порядка 61%. |
|
Munawar, H.S. et al.,2022 [3] |
68 |
Для автоматизации оценки повреждений инфраструктуры предложена гибридная архитектура CNN (16 сверточных слоев + CycleGAN), дополненная фильтрацией Габора (GF) и условными случайными полями (CRF) для повышения точности обнаружения трещин. Модель, обученная на аэрофотоснимках БПЛА и открытых данных зданий Сиднея, превзошла существующие методы по ключевым метрикам (точность до 99%, F1-score 0.858), демонстрируя устойчивость к шуму и эффективность при многоуровневом анализе. Результаты подтверждают потенциал глубокого обучения для объективной и экономичной диагностики повреждений в гражданском строительстве. |
|
Wang, C. et al., 2021 [4] |
50 |
В исследовании предложен систематический метод создания 3D-моделей зданий для энергетического моделирования, объединяющий данные карт Baidu и OpenStreetMap, оценку высоты по этажности и AI-анализ соотношения окон к стенам (WWR). Метод показал высокую точность, с ошибками менее 10% для 85% зданий, и успешно применен в новом районе Нанкина. |
|
Mishra, M. et al., 2024 [5] |
48 |
В данном исследовании рассматривается применение искусственного интеллекта (ИИ), глубокого обучения (DL) и компьютерного зрения (CV) для мониторинга и сохранения объектов культурного наследия (CH). Авторы отмечают, что такие дефекты, как трещины, выветривание, эрозия и вандализм, негативно влияют на структурную целостность исторических зданий, однако количественный анализ этих повреждений с помощью ИИ остается малоизученной областью. |
|
Chakravarthy, A.S. et al., 2022 [6] |
36 |
Исследование предлагает энергоэффективную систему семантической сегментации аэрофотоснимков, где БПЛА выполняют только сбор данных, а сложные вычисления переносятся в облако. Трехуровневая архитектура с полуконтролируемым обучением демонстрирует хорошие результаты, анализируя совместно снимки и карты высот. |
|
Singh, D. et al., 2022 [7] |
34 |
Исследование анализирует применение IoT, ИИ, БПЛА и edge computing для решения ключевых проблем BIPV-систем: перегрев модулей, дефекты и загрязнение поверхностей. Предложена архитектура интеграции этих технологий, включая ML-анализ изображений в реальном времени и edge-обработку данных. |
|
Pu, S. et al., 2019 [8] |
29 |
Исследование предлагает автоматизированную систему инспекции ЛЭП с использованием БПЛА, лидара и ИИ (3D CNN), которая классифицирует элементы энергосетей, анализирует риски по отраслевым стандартам и передаёт отчёты через 4G. Тестирование на линиях 1000 кВ подтвердило эффективность метода для оперативного выявления дефектов |
|
To, A. et al., 2021 [9] |
26 |
Исследование предлагает цифровую платформу для интеграции Digital Twin в строительство, объединяющую ИИ, 3D-реконструкцию с БПЛА и BIM для мониторинга и выявления дефектов. Разработанная модульная архитектура с настраиваемыми компонентами прошла валидацию, демонстрируя эффективность для задач строительной диагностики |
|
Jing, Y. et al., 2023 [10] |
26 |
Исследование предлагает инновационную систему AGIFL, объединяющую БПЛА и федеративное обучение для 6G-сетей, где дроны оптимизируют позиционирование и распределение ресурсов между edge-узлами. Алгоритмы на основе SCA демонстрируют на 30% более высокую энергоэффективность по сравнению с традиционными методами при сохранении точности обучения, что подтверждено полевыми испытаниями. |
|
Lemos, R. et al., 2023 [11] |
25 |
Исследование предлагает ИИ-метод для автоматического выявления коррозии на крышах промзданий с использованием БПЛА и нейросети Mask R-CNN, обученной на 8 тыс. аэрофотоснимков с 18 тыс. размеченных аномалий. Система демонстрирует точность 85,8% даже в сложных условиях, помогая специалистам принимать обоснованные решения по обслуживанию объектов. |
|
Chodorek, A. et al., 2021 [12] |
22 |
Исследование представляет открытую модульную платформу для БПЛА-мониторинга, объединяющую IoT-датчики, WebRTC-трансляцию и бортовые ИИ-ускорители для задач в умных городах и промышленности. Система демонстрирует эффективность при работе в сложных условиях, обеспечивая высокое пространственно-временное разрешение и обработку данных в режиме near real-time |
|
Hoang, M.L. et al., 2023 [13] |
20 |
Разработана интеллектуальная система безопасности на базе БПЛА с ИИ, объединяющая датчики IoT (PIR, датчик пламени) и компьютерное зрение (YOLOv8) для автоматического обнаружения пожаров, злоумышленников и опасных объектов. Система с алгоритмами сопровождения и контроллером PID обеспечивает автономный мониторинг и оперативную передачу данных службам безопасности. |
При этом анализ публикаций всей выборки позволил выявить основные направления исследования, к которым относятся:
- комплексное использование ИИ и глубокого обучения,
- применение нейросетевых архитектур,
- применение БПЛА для мониторинга протяженных объектов,
- фокус на автоматизацию и open-sourse решения,
- внедрение полученных результатов в цифровые двойники и пр.
Авторы из России также пишут на тему применения БПЛА в строительстве [14-19 и др.].
Далее рассмотрим наиболее перспективные направления в рамках проведенного исследования.
Применение технологий ИИ для распознавания структур при съемке строительных объектов
В настоящее время в мире активно развивается направление исследований в области создания алгоритмов автоматического ориентирования и построения траектории БПЛА при съемке строительных объектов. Для ориентирования на местности в условиях невозможности использования глобальных навигационных систем для определения точного местоположения БПЛА относительно строительного объекта (глушения сигнала) возможно использование быстрых алгоритмов на основе свёрточных нейронных сетей (CNN), способных проводить оперативный анализ получаемых изображений и выявлять простые легко распознаваемые элементы: в первую очередь границы и текстуры. Такие методы могут применяться, в том числе, и для создания цифровых карт (схем) строительных площадок для задач автоматического ориентирования БПЛА при мониторинге. Примером такого программного решения является AI-mapping от компании DJI.
В зависимости от задач распознавания можно реализовывать различные алгоритмы распознавания форм объектов или структур. В рамках написания статьи был разработан пример листинга программного кода на языке Python для распознавания эллипсоидальных структур на изображении:
# Установка зависимостей
!pip install opencv-python-headless matplotlib ipywidgets
# Подключаем библиотеки
from IPython.display import display, clear_output
import ipywidgets as widgets
import cv2
import numpy as np
import matplotlib.pyplot as plt
from google.colab import files
plt.rcParams['font.family'] = 'DejaVu Sans'
# Глобальная переменная для хранения изображения
_img = None
def upload_image():
"""Запрашивает загрузку нового файла и сохраняет его в _img."""
global _img
clear_output(wait=True)
print("Пожалуйста, загрузите снимок строительной площадки (JPG, PNG и т.п.):")
uploaded = files.upload()
if not uploaded:
print("Файл не загружен.")
return False
fname = next(iter(uploaded))
data = np.frombuffer(uploaded[fname], np.uint8)
_img = cv2.imdecode(data, cv2.IMREAD_COLOR)
print(f"Файл «{fname}» загружен.")
build_interface()
return True
def remove_image():
"""Удаляет текущее изображение и очищает интерфейс."""
global _img
_img = None
clear_output(wait=True)
print("Изображение удалено.")
# Предложим сразу загрузить новое
upload_button.description = "Загрузить изображение"
display(upload_button)
def detect_ellipses(lower_canny:int,
upper_canny:int,
min_points:int,
min_area:int,
min_axis_ratio:float):
"""Выполняет распознавание эллипсоидальных структур на _img."""
gray = cv2.cvtColor(_img, cv2.COLOR_BGR2GRAY)
blur = cv2.GaussianBlur(gray, (5, 5), 0)
edges = cv2.Canny(blur, lower_canny, upper_canny)
contours, _ = cv2.findContours(edges, cv2.RETR_LIST, cv2.CHAIN_APPROX_NONE)
out = _img.copy()
count = 0
for cnt in contours:
if len(cnt) < min_points:
continue
try:
ellipse = cv2.fitEllipse(cnt)
except cv2.error:
continue
(_, _), (MA, ma), _ = ellipse
area = MA * ma
axis_ratio = min(MA, ma) / max(MA, ma)
if axis_ratio >= min_axis_ratio and area >= min_area:
cv2.ellipse(out, ellipse, (0, 255, 0), 2)
count += 1
print(f"Найдено эллипсоидальных объектов: {count}")
fig, ax = plt.subplots(1, 2, figsize=(12, 6))
ax[0].imshow(cv2.cvtColor(_img, cv2.COLOR_BGR2RGB))
ax[0].set_title("Исходное изображение")
ax[0].axis('off')
ax[1].imshow(cv2.cvtColor(out, cv2.COLOR_BGR2RGB))
ax[1].set_title("Результат распознавания")
ax[1].axis('off')
plt.show()
def build_interface():
"""Создаёт и отображает ползунки, подсказки и кнопки управления."""
clear_output(wait=True)
# Виджеты для параметров
lower_canny_slider = widgets.IntSlider(
value=50, min=0, max=200, step=5,
description="Низкий порог Canny",
tooltip="Минимальный градиент яркости для кандидатов в границы"
)
upper_canny_slider = widgets.IntSlider(
value=150, min=0, max=300, step=5,
description="Высокий порог Canny",
tooltip="Градиент, выше которого пиксель считается границей"
)
min_points_slider = widgets.IntSlider(
value=50, min=10, max=200, step=5,
description="Мин. точек",
tooltip="Минимальное число точек в контуре для аппроксимации эллипсом"
)
min_area_slider = widgets.IntSlider(
value=500, min=100, max=10000, step=100,
description="Мин. площадь",
tooltip="Произведение полуосей (MA·ma) в пикселях"
)
axis_ratio_slider = widgets.FloatSlider(
value=0.5, min=0.1, max=1.0, step=0.05,
description="Мин. отношение осей",
tooltip="Отношение меньшей полуоси к большей (1.0 — идеально круглый)"
)
Алгоритм работы кода представлен на Рис. 2.
Рис. 2. Блок-схема работы программного кода
На Рис. 3 и 4 приводится интерфейс тестового программного обеспечения, показывающий возможность решения подобных задач мониторинга при строительстве.
Рис. 3. Пример интерфейса ПО распознавания эллипсоидальных структур
Рис. 4. Пример распознавания эллипсоидальных структур на изображении строительной площадки
Применение технологий ИИ для автономного управления движением БПЛА при съемке строительных объектов
Отдельным направлением исследований является развитие методов автономной навигации при сьемке сложных строительных объектов. Примером является система Skydio X10, позволяющая проводить автономную съемку сложного строительного объекта, в которой применяемые технологии ИИ позволяют обходить препятствия.
Для построения маршрутов облета протяженных строительных объектов целесообразно использовать гибридные алгоритмы с использованием машинного обучения, когда новые маршруты строятся автоматически на основе ранее проведенных полетов и съемок. Примером является гибридный алгоритм Whale-inspired Deep Q-Network (WDQN).
Еще одним примером является многофункциональное программное обеспечение UgCS, позволяющее планировать и оптимизировать траектории движения БПЛА при проведении съемки строительных объектов. Данный программный продукт интересен в первую очередь возможностью импорта цифровых информационных моделей поверхности относительно которой ведется съемка. Применение цифровых моделей в алгоритмах расчета траектории полета позволяет оптимизировать маршруты (сгладить траекторию), а также максимизировать сбор полезной информации.
Применение технологий ИИ при комплексной камеральной обработке информации с БПЛА
Перспективным направлением исследований является разработка автономных систем анализа данных, получаемых при съемке строительных объектов с использованием БПЛА. Современные методы ИИ позволяют не только обнаруживать дефекты строительных конструкций, но и классифицировать их. Применение методов машинного обучения для обнаружения и классификации трещин в строительных конструкциях позволяет достигать до 90 % точности распознавания и определения класса дефекта. При этом необходимо отметить, что ключевую роль в данном случае играет набор тестовых данных для обучения алгоритмов распознавания. Именно отсутствие необходимых наборов тестовых данных дефектов разного вида для обучения алгоритмов распознавания на основе ИИ является ключевым тормозящим фактором тиражирования и массового внедрения данных технологий.
Автоматизация процессов формирования отчетов по результатам проведенного мониторинга также является перспективной задачей для применения искусственного интеллекта. Современные аппаратно-программные средства позволяют комплексировать данные мониторинга БПЛА с данными других цифровых устройств (в том числе наземных камер и IoT-датчиков). Таким образом, современные программные средства позволяют проводить комплексный анализ данных как для оптимизации планирования и оптимизации ресурсов, так и для обеспечения безопасности и оценки качества проводимых работ. Но в тоже самое время увеличение каналов передачи данных существенно влияет на киберзащищенность таких информационных систем.
Выводы
В заключение необходимо отметить, что применение технологий ИИ для целей мониторинга строительных объектов с использованием БПЛА в настоящее время находится в стадии становления и открывает новые горизонты для применения технологий автоматического контроля строительства. Особую актуальность в данном случае приобретают задачи мониторинга протяженных строительных объектов.
Приведенные примеры успешной реализации задач мониторинга строительства на основе применения БПЛА и обработки данных с использованием ИИ показывают большой потенциал их применения для оптимизации процессов строительного производства, снижение затрат и обеспечение безопасности при строительстве. В то же самое время выявлены существенные ограничения их тиражирования и внедрения, такие как отсутствие наборов тестовых данных для обучения и решение вопросов кибербезопасности.
1. Dilshad, N., Hwang, J., Song, J., Sung, N., Applications and Challenges in Video Surveillance via Drone: A Brief Survey // International Conference on ICT Convergence, vol. 2020. October. pp. 728-732. https://doi.org/10.1109/ICTC49870.2020.9289536
2. Cheng, C.-S., Behzadan, A.H., Noshadravan, A., Deep learning for post-hurricane aerial damage assessment of buildings // Computer-Aided Civil and Infrastructure Engineering. vol. 36. 2021. pp. 695-710.https://doi.org/10.1111/mice.12658 EDN: https://elibrary.ru/EUULPM
3. Munawar, H.S., Ullah, F., Heravi, A., Thaheem, M.J., Maqsoom, A., Inspecting buildings using drones and computer vision: A machine learning approach to detect cracks and damages // Drones, vol. 6, 2022, doi:https://doi.org/10.3390/drones6010005 EDN: https://elibrary.ru/AUSSOX
4. Wang, C. et al. A systematic method to develop three dimensional geometry models of buildings for urban building energy modeling / Wang, C., Wei, S., Du, S., Zhuang, D., Li, Y., Shi, X., Jin, X., Zhou, X. // Sustainable Cities and Society, vol. 71, 2021. https://doi.org/10.1016/j.scs.2021.102998 EDN: https://elibrary.ru/WQOAQS
5. Mishra, M., Lourenço, P.B., Artificial intelligence-assisted visual inspection for cultural heritage: State-of-the-art review // Journal of Cultural Heritage. vol. 66, pp. 536-550. 2024. https://doi.org/10.1016/j.culher.2024.01.005 EDN: https://elibrary.ru/SPGQYE
6. Chakravarthy, A.S. et al. DroneSegNet: Robust Aerial Semantic Segmentation for UAV-Based IoT Applications / Chakravarthy, A.S., Sinha, S., Narang, P., Mandal, M., Chamola, V., Yu, F.R. // IEEE Transactions on Vehicular Technology, vol. 71, pp. 4277-4286, 2022.https://doi.org/10.1109/TVT.2022.3144358 EDN: https://elibrary.ru/XVNKFL
7. Singh, D. et al. Building Integrated Photovoltaics 4.0: Digitization of the Photovoltaic Integration in Buildings for a Resilient Infra at Large Scale / Singh, D., Akram, S.V., Singh, R., Gehlot, A., Buddhi, D., Priyadarshi, N., Sharma, G., Bokoro, P.N. // Electronics (Switzerland), vol. 11, 2022.https://doi.org/10.3390/electronics11172700 EDN: https://elibrary.ru/NDEEIK
8. Pu, S. et al. Real-time powerline corridor inspection by edge computing of uav lidar data / Pu, S., Xie, L., Ji, M., Zhao, Y., Liu, W., Wang, L., Zhao, Y., Yang, F., Qiu, D. // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences - ISPRS Archives. vol. 42, pp. 547-551. 2019. https://doi.org/10.5194/isprs-archives-XLII-2-W13-547-2019
9. To, A. Drone-Based AI and 3D Reconstruction for Digital Twin Augmentation / To, A., Liu, M., Hazeeq Bin Muhammad Hairul, M., Davis, J.G., Lee, J.S.A., Hesse, H., Nguyen, H.D. // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). vol. 12774 LNCS. pp. 511-529. 2021. https://doi.org/10.1007/978-3-030-77626-8_35 EDN: https://elibrary.ru/RKQFOQ
10. Jing, Y. Exploiting UAV for Air-Ground Integrated Federated Learning: A Joint UAV Location and Resource Optimization Approach / Jing, Y., Qu, Y., Dong, C., Ren, W., Shen, Y., Wu, Q., Guo, S. // IEEE Transactions on Green Communications and Networking. vol. 7. pp. 1420-1433. 2023. https://doi.org/10.1109/TGCN.2023.3242999 EDN: https://elibrary.ru/CYFDYZ
11. Lemos, R. et al. Automatic Detection of Corrosion in Large-Scale Industrial Buildings Based on Artificial Intelligence and Unmanned Aerial Vehicles / Lemos, R., Cabral, R., Ribeiro, D., Santos, R., Alves, V., Dias, A. // Applied Sciences (Switzerland). vol. 13. 2023. https://doi.org/10.3390/app13031386 EDN: https://elibrary.ru/GNVFZK
12. Chodorek, A., Chodorek, R.R., Sitek, P., Uav-based and webrtc-based open universal framework to monitor urban and industrial areas // Sensors. vol. 21. 2021. https://doi.org/10.3390/s21124061 EDN: https://elibrary.ru/IXDQBH
13. Hoang, M.L., Smart Drone Surveillance System Based on AI and on IoT Communication in Case of Intrusion and Fire Accident // Drones. vol. 7. 2023. https://doi.org/10.3390/drones7120694 EDN: https://elibrary.ru/RVOFDM
14. Соколов Н.В., Филатова А.В. Применение БПЛА для решения задач при строительстве автодорог // Вестник научных конференций. 2018. № 11-4 (39). С. 148-149. EDN: https://elibrary.ru/YTAXWH
15. Хайдар А.Н.А.Д., Железнов М.М. Геоматический мониторинг в управлении жизненным циклом инженерных объектов в центральном Ираке в условиях опустынивания // Строительство и архитектура. 2025. Т. 13. № 1 (46). С. 4. https://doi.org/10.29039/2308-0191-2025-13-1-4-4 EDN: https://elibrary.ru/QVRLMK
16. Железнов М., Адамцевич Л., Рыбакова А. Концепция информационного моделирования объектов железнодорожной инфраструктуры на этапах жизненного цикла // Информационные ресурсы России. 2022. № 4 (188). С. 12-23. https://doi.org/10.52815/0204-3653_2022_04188_12 EDN: https://elibrary.ru/OIGEIB
17. Железнов М.М., Адамцевич Л.А. Развитие инфраструктуры железнодорожного транспорта с использованием технологий информационного моделирования (bim) и больших данных (big data): обзор // Строительство и архитектура. 2022. Т. 10. № 2. С. 61-65. https://doi.org/10.29039/2308-0191-2022-10-2-61-65 EDN: https://elibrary.ru/IQXSFD
18. Жигалин А.А., Сазонова С.А. Использование БПЛА в строительстве // Современные технологии в строительстве. Теория и практика. 2024. Т. 1. С. 125-128. EDN: https://elibrary.ru/DIEAYY
19. Носков И.В., Носков К.И., Тиненская С.В., Ананьев С.А. Дрон-технологии в строительстве — современные решения и возможности // Вестник евразийской науки. 2020. Т. 12. № 5. С. 27. EDN: https://elibrary.ru/YSEXRI
