graduate student
Russian Federation
Russian Federation
VAC 2.1.1 Строительные конструкции, здания и сооружения (Технические науки)
VAC 2.1.2 Основания и фундаменты, подземные сооружения (Технические науки)
VAC 2.1.3 Теплоснабжение, вентиляция, кондиционирование воздуха, газоснабжение и освещение (Технические науки)
VAC 2.1.5 Строительные материалы и изделия (Технические науки)
VAC 2.1.6 Гидротехническое строительство, гидравлика и инженерная гидрология (Технические науки)
VAC 2.1.7 Технология и организация строительства (Технические науки)
VAC 2.1.8 Проектирование и строительство дорог, метрополитенов, аэродромов, мостов и транспортных тоннелей (Технические науки)
VAC 2.1.9 Строительная механика (Технические науки)
VAC 2.1.10 Экологическая безопасность строительства и городского хозяйства (Технические науки)
VAC 2.1.11 Теория и история архитектуры, реставрация и реконструкция историко-архитектурного наследия (Технические науки)
VAC 2.1.12 Архитектура зданий и сооружений. Творческие концепции архитектурной деятельности (Технические науки)
VAC 2.1.13 Градостроительство, планировка сельских населенных пунктов (Технические науки)
VAC 2.1.15 Безопасность объектов строительства (Технические науки)
UDK 69 Строительство. Строительные материалы. Строительно-монтажные работы
UDK 004.94 Компьютерное моделирование
UDK 004 Информационные технологии. Компьютерные технологии. Теория вычислительных машин и систем
UDK 004.89 Прикладные системы искусственного интеллекта. Интеллектуальные системы, обладающие знаниями
GRNTI 67.01 Общие вопросы строительства
BBK 308 Монтаж, эксплуатация, ремонт машин и промышленного оборудования
In the article, the authors discuss the potential of digital transformation in the operation of buildings and structures. They propose a shift from a reactive to a preventive approach, which could reduce costs and improve efficiency during the service life of the buildings. To achieve this, they suggest using modern information technologies for detecting defects and controlling their spread. The article emphasizes the importance of collecting real-time data about buildings using digital twins of buildings. This information is collected from information models and sensors installed at the site. Instead of conducting regular inspections, it is suggested to use photo and video systems with artificial intelligence to detect defects in individual building elements. Artificial intelligence can also analyze all this data and predict the future condition of the building. Analyzing data from sensors and identifying defects based on survey information are two different tasks that require different types of neural networks. The training of these networks can be done using different methods, depending on the specific needs of the task. Based on this information, the authors propose a unified building management system that uses digital twins and artificial intelligence for various purposes. A key part of this system is continuous monitoring of building conditions and making predictions about future events. In the conclusion, the authors discuss the impact of their proposed system on building operations and structures. They assess how it can improve efficiency and reduce maintenance costs.
digital transformation, artificial intelligence, digital twin, operation of buildings and structures, information modeling technologies, machine learning, inspection of buildings and structures
Введение
Настоящая статья направлена на анализ перспектив цифровой трансформации системы отслеживания состояния зданий и сооружений на этапе их эксплуатации. Основное изменение должно строиться на отказе от реактивного подхода в обслуживании систем здания, когда усилия направлены на устранение последствий уже произошедших событий, в пользу превентивного. Главным преимуществом такого подхода является идентификация и решение проблем, которые только начинают развиваться. В большинстве случаев, устранение их на ранней стадии выполняется с меньшими затратами, а также, более качественно, за счет большего временного запаса на принятие решения. Еще одним важным фактором является повышение безопасности при эксплуатации здания. Обычно, аварийные ситуации возникают из-за сочетания различных неблагоприятных факторов, однако, применение грамотных методов эксплуатации открывает возможность предсказывать потенциальные угрозы и осуществлять своевременные действия для обеспечения безопасного использования зданий и сооружений. В этом контексте использование современных информационных технологий становится ключевым для эффективной работы служб управления эксплуатацией.
Материалы и методы
При написании данной работы, основным методом являлся поиск и анализ информации из статей, по ключевым словам и темам.
Традиционным способом отслеживания параметров и оценки состояния зданий и сооружений является проведение плановых обследований, когда квалифицированные инспекторы проводят визуальные осмотры и принимают решения на основе определенных критериев. Одним из документов, описывающих эти критерии, является из ВСН 53-86(Р). Согласно ГОСТ 31937-2024 «Здания и сооружения. Правила обследования и мониторинга технического состояния», визуальные осмотры являются частью предварительного обследования, однако, на его основании можно сделать выводы о необходимости в ремонте в случаях, когда техническое состояние здания является нормативным или работоспособным, а также, определить действия для поддержания текущего состояния здания. В случае выявленного ухудшения технического состояния здания производится детальное обследование (сплошное или выборочное), поэтому визуальные осмотры составляют важную роль в обследовании зданий и сооружений.
Благодаря развитию технологий в строительной отрасли, появляется все больше зданий высотой более 100 метров, что является порогом для признания здания или сооружения уникальным. Согласно ГОСТ 31937-2024, для уникальных зданий и сооружений должен быть установлен постоянный мониторинг технического состояния, вместо обследования здания не реже 1 раза в 10 лет при нормальном режиме эксплуатации или не реже 1 раза в 5 лет для зданий в неблагоприятных условиях. Обязанность проведения постоянного мониторинга технического состояния уникальных зданий должна выполняться управляющими компаниями. Это является трудоемкой задачей, так как для успешного мониторинга в традиционном виде необходимо составлять подробный план постоянного обследования здания для обнаружения появляющихся дефектов и либо их своевременного устранения, либо учета для понимания текущего технического состояния здания.
В данном материале рассматриваются вопросы мониторинга состояния и технического обслуживания конструктивных элементов здания.
Несмотря на то, что регулярные визуальные осмотры, в том числе в сочетании с применением измерительных систем, играют важную роль в обнаружении дефектов, из-за большого количества элементов в инспектируемых системах и часто не удобного доступа к ним, этот вид проверки требует много времени, является трудоемким и дорогостоящим. Также, из-за отсутствия полного доступа к некоторым элементам здания, дефекты могут быть не обнаружены на ранней стадии, или, если обнаружены, то в недостаточной степени оценены масштабы, что делает результаты такого обследования субъективными [1]. Помимо этого, в отдельных случаях, подобные обследования могут быть сопряжены с большой опасностью для жизни или здоровья и требовать перерывов в работе.
Еще одной негативной стороной проведения обследований по графику, является отсутствие возможности отслеживания состояния инфраструктуры в режиме реального времени. Показания датчиков или измерительных приборов фиксируются и анализируются в момент обследования, что допускает возможность пропустить экстремальное состояние отдельных частей конструкции. Особенно это актуально для не уникальных зданий, где постоянный режим мониторинга не устанавливается и обследование происходит 1 раз в 5 или 10 лет, в течение которых могут развиться дефекты, требующие гораздо более серьезного ремонта, чем могли бы, при условии обнаружения их на ранней стадии развития.
Поэтому, важным фактором безопасной и эффективной эксплуатации зданий и сооружений является профилактическое обслуживание, которое играет решающую роль в предотвращении экстремальных состояний конструкций и систем, приводящих к их выведению из строя или разрушению. На основе проведенного обслуживания можно сделать выводы об остаточном сроке службы сооружения или его элемента. На практике, зачастую, используют ранжирование сооружений в зависимости от срока их службы, для планирования реализации инфраструктурных проектов в порядке их важности [2].
При эксплуатации здания, важным инструментом является использование технологии информационного моделирования (ТИМ). Эксплуатационная информационная модель (ЭИМ) в этой системе является местом сбора и хранения информации обо всех изменениях, произведенных с момента введения здания в эксплуатацию. Например, в параметрах элементов можно сохранять данные о проведенных ремонтах и техническом обслуживании. Для построения эффективной системы эксплуатации и применения принципа предиктивного обслуживания необходимо информационную модель дополнить значениями параметров, поступающих с датчиков в реальном времени. Решением, позволяющим воплотить подобный подход для управления эксплуатацией зданиями и сооружениями, может стать использование цифровых двойников, задача которых как раз заключается в объединении всей информации из ЭИМ и информации, поступающей с датчиков в реальном времени. В области промышленного производства принципы цифровых двойников уже широко используются [3]. Однако, в секторе управления зданиями эта тенденция только зарождается.
Существует множество компаний, которые занимаются разработкой программных решений. Хорошо известный исследовательский проект – это Autodesk Tandem. В нем основное внимание уделяется связи между датчиками и строительным элементом. Также доступна визуализация данных датчиков в реальном времени. Приложение работает с моделями из Autodesk Revit, а также с открытым форматом IFC. Помимо связи между датчиками, есть функционал управления помещениями, постановки задач и обмена документацией.
Другим программным решением является Bosch IoT Suite. Многие предварительно разработанные инструменты, такие как аналитические системы, могут быть применены в этой среде к общей цифровой модели - двойнику. Основной функцией данного решения является управление данными, как и в Autodesk Tandem, данные с датчиков можно объединять в одном месте и смотреть их в реальном времени. Информация отображается как на графиках, так и на 3D визуализациях.
Еще одним решением для управления эксплуатацией здания является продукт российской разработки от компании Sodis lab – Sodis building FM. В возможности этого программного комплекса входит анализ датчиков, построение графиков, работа с информационной моделью, отображение на ней зон с неисправностями, создание задач и контроль их выполнения, работа с помещениями и арендаторами, документооборот и другие подобные функции. Важным дополнением является возможность вынесения информации об объектах из цифрового двойника на реальный объект в здании (например, стену или оборудование) с использованием QR-кодов, генерирующихся в самом программном комплексе.
Существующий функционал цифровых двойников зданий достаточно широк и может быть дополнен возможностями анализа данных с помощью искусственного интеллекта (ИИ). На данный момент появляется все больше исследований, раскрывающих области использования искусственного интеллекта в строительной сфере и, в частности, в отслеживании состояния здания при эксплуатации. Один из примеров - исследовательский проект цифрового двойника здания института в кампусе Кембриджа на базе искусственного интеллекта [4], где основное внимание уделяется прогнозированию структурных сбоев на основе анализируемых данных. Помимо этого, в работе выделяются проблемы при сборе данных из разных источников.
Цифровые двойники также отлично подходят для индикации проблемных мест, которые обнаружены нейросетью, благодаря передаче в них геометрии из информационных моделей зданий, а также для формирования отчетности о состоянии здания в целом. Это, в свою очередь, улучшает процесс планирования технического обслуживания [5,6].
Существует множество способов применения искусственного интеллекта для автоматизации управления зданиями, и необходимо выбирать наиболее эффективные методы для каждой стадии жизненного цикла с целью оптимизации трудозатрат и ресурсов. Одним из примеров использования ИИ на этапе эксплуатации является прогнозирование состояния зданий на основе данных, получаемых в реальном времени с датчиков и геопространственных данных [7-9]. Хотя для сбора данных с датчиков уже есть функционал в описанных выше программных комплексах, в них не хватает возможностей по постоянному отслеживанию этих показателей и прогнозированию ситуации на основе всех имеющихся данных. Важно также собрать данные о проблемах, которые невозможно зафиксировать датчиками — например, о возникновении трещин или локальных разрушений стен и т.д.
Как было отмечено, в данный момент, при обследовании большинства объектов гражданской инфраструктуры, в основном, оценка состояния проводится с использованием данных, полученных в результате осмотра или обследования. По мере развития технологий, традиционные методы обнаружения повреждений постепенно заменяются современными интеллектуальными системами мониторинга и принятия решений [10]. Поскольку изображения содержат визуальную информацию, аналогичную той, которую получают инспекторы во время обследования, проблему идентификации дефектов можно решить путем замены осмотра на анализ данных с изображений с помощью искусственного интеллекта, минимизируя роль человеческого фактора в процессе. [11,12].
Сбор данных для анализа с помощью ИИ может осуществляться различными методами. В современном мире достаточно распространены камеры видеонаблюдения, которые подключаются к серверам, где происходит сбор всех отснятых материалов. Эти сервера можно использовать как базу данных для анализа состояния здания. Еще одним способом сбора данных является аэрофотосъемка с помощью беспилотных летательных аппаратов (БПЛА).
Используя системы на основе искусственного интеллекта, люди могут добиться большей автономности процесса обследования здания, обеспечивая при этом его безопасную эксплуатацию. Для достижения этой цели применяется такая технология, как структурный мониторинг работоспособности (СМР)[12], суть которой заключается в изменении стратегии с поиска повреждений после их возникновения на непрерывный контроль и обнаружение дефектов, с помощью подключенных устройств [12,13]. Это позволяет оперативно выявлять аномалии и проблемы на объекте, благодаря постоянному мониторингу и анализу данных. В процессе принятия решений относительно осмотра и технического обслуживания учитывается серьезность, локализация выявленного повреждения и его потенциальное распространение в будущем.
Чтобы эффективно внедрить ИИ, необходимо провести обучение модели на существующих наборах данных, принимая во внимание специфику задач.
Для машинного обучения применяются три основные категории методов: контролируемые, неконтролируемые и обучение с подкреплением [12]. Контролируемые, как правило, используются в задачах, связанных с классификацией и регрессией, обучение происходит с использованием помеченных данных, где желаемый результат заранее известен. Неконтролируемые модели предполагают обучение с немаркированными данными, когда желаемый результат неизвестен. Обычно, такие модели используются в задачах кластеризации и обнаружения аномалий. Обучение с подкреплением происходит на наборе поощрений, наказаний и используется в робототехнике, играх и автономных транспортных средствах. Различают также экспертные обучающие системы, семантические сети, дерево принятия решений, нейронные сети и др.[2, 14-15].
Так как основная цель при эксплуатации здания - заменить инспектирование объектов работниками на постоянный анализ состояния конструкций и сетей с помощью искусственного интеллекта, то необходимо настроить корректное распознавание и классификацию элементов здания. В последнее время появляется все больше методов машинного и глубокого обучения, которые помогают интерпретировать цифровые данные, семантически структурировать и обогащать изучаемый объект [16]. Например, помогают идентифицировать архитектурные компоненты [17], повторно собирать разобранные части [18], распознавать скрытые или поврежденные участки стен [19].
Анализ тенденций показывает, что в строительных проектах используются искусственные нейронные сети (ИНС) [20], в частности рекуррентная (РНС) и сверточная нейронные сети (СНС)[21]. ИНС - это тип машинного обучения, который имитирует работу человеческого мозга, используя слои взаимосвязанных узлов для обработки и анализа данных. РНС — созданы для работы с последовательными данными, такими как временные ряды. СНС - это специализированный тип ИНС, который анализирует изображения и видеоданные, используя процесс, называемый сверткой, для выявления закономерностей и особенностей в данных. [22-24]
Результаты
Организовывать эксплуатацию зданий возможно, используя комбинацию средств ИИ, когда РНС используется для постоянного анализа данных датчиков, собранных системами мониторинга, в режиме реального времени, а СНС используется для анализа состояния отдельных конструкций по фото и видео материалам. Цифровой двойник здания, в этом случае, предполагается использовать как место сбора всей информации из разных источников для их дальнейшего анализа нейросетями. После анализа, результаты обработки данных исследуются инженером по эксплуатации и принимается решение о дальнейших действиях. Кроме того, использование описанного подхода дает возможность управляющей компании ранжировать проблемы по степени важности и по степени их влияния на здание в целом, опираясь на прогноз развития каждого отдельного дефекта.
Принципиальная схема процессов эксплуатации здания с использованием цифрового двойника и искусственного интеллекта показана на Рис. 1 и состоит в следующем:
- Ответственный инженер службы эксплуатации проводит накопление данных о проведенных работах и техническом обслуживании в эксплуатационной информационной модели.
- Информация из ЭИМ, а также данные, поступающие с датчиков в реальном времени и данные, полученные путем фото или видео фиксации, собираются вместе, образуя цифровой двойник здания.
- Данные из цифрового двойника анализируются нейросетью. Выявляются проблемные места и формируются отчеты о текущим состоянием здания с прогнозом, какие элементы здания могут в ближайшее время стать проблемными.
- В цифровом двойнике происходит идентификация проблемных мест, которые определены нейросетью после анализа всей доступной информации о здании, после чего формируется отчет о состоянии здания с графиками, в форме, понятной для инженера по эксплуатации.
- Инженер службы эксплуатации анализирует отчет и принимает решение о порядке выполнения ремонтов и технического обслуживания.
Рис. 1. Схема процессов эксплуатации здания с использованием цифрового двойника здания (разработано авторами).
Важным дополнением является то, что проверка не запускается отдельно и не останавливается после завершения описанного выше цикла, а продолжается, с учетом новых поступивших данных, в том числе и новых данных отчетов, записанных в цифровом двойнике.
Заключение
Эффективное управление эксплуатацией зданий и сооружений может быть достигнуто при применении передовых технологий, включая использование цифровых двойников объектов и нейросетей для анализа данных. Работа автоматизированной системы сбора данных с датчиков и камер в реальном времени минимизирует человеческий фактор при диагностике дефектов зданий. Прогнозирование потенциальных проблем с помощью нейросетей позволяет своевременно проводить техническое обслуживание и ремонт, что повышает безопасность эксплуатации и снижает общие затраты.
1. Sun L. et al. Review of Bridge Structural Health Monitoring Aided by Big Data and Artificial Intelligence / Sun L., Shang Z., Xia Y., Bhowmick S., Nagarajaiah S. // Journal of Structural EngineeringArchive. 2020. Vol. 146. No 5. https://doi.org/10.1061/(ASCE)ST.1943-541X.0002535
2. Thiele C.-D. et al. A Digital Twin as a framework for a machine learning based predictive maintenance system / C.-D. Thiele, J. Brötzmann, T.-J. Huyeng, U. Rüppel, S. R. Lorenzen, H. Berthold, J. Schneider // ECPPM 2021 – eWork and eBusiness in Architecture, Engineering and Construction. 2021. https://doi.org/10.1201/9781003191476
3. Jones D. et al. Characterising the Digital Twin: A systematic literature review / Jones D., Snider C., Nassehi A., Yon J., Hicks B. // CIRP Journal of Manufacturing Science and Technology. 2020. Vol. 29. Part A. Pp. 36-52. https://doi.org/10.1016/j.cirpj.2020.02.002
4. Qiuchen Lu V. et al. Developing a Dynamic Digital Twin at a Building Level: using Cambridge Campus as Case Study / Qiuchen Lu V., Parlikad A.K., Woodall P., Ranasinghe G.D., Heaton J. // Journal of Management in Engineering. 2020. Vol. 36. No 3. https://doi.org/10.1061/(ASCE)ME.1943-5479.0000763
5. Musella C. et al. BIM & AI: advanced technologies for the digitalisation of seismic damages in masonry buildings / C. Musella, M. Serra, C. Menna, D. Asprone // Conference: International fib Symposium on Conceptual Design Of Structures. Madrid. 2019.
6. Rafiu S. et al. Innovative changes in quantity surveying practice through BIM, big data, artificial intelligence and machine learning / Rafiu S., Young B.E., Clack Jamie, Adamu Z., Robinson. H. // Applied Science University Journal of Natural Science. 2020. Vol 4. Pp. 37–47.
7. Krausková V., Pifko H., Use of artificial intelligence in the field of sustainable architecture: current knowledge // Architecture Papers of the Faculty of Architecture and Design STU. 2021. Vol. 26. Pp 20–29. DOI:https://doi.org/10.2478/alfa-2021-0004
8. Petrova E. et al. In Search of Sustainable Design Patterns: Combining Data Mining and Semantic Data Modelling on Disparate Building Data / Petrova E., Pauwels P., Svidt K., Jensen R. L. // Advances in Informatics and Computing in Civil and Construction Engineering. 2018. Chapter 3. Pp. 19-26. DOI:https://doi.org/10.1007/978-3-030-00220-6_3
9. Adio-Moses D., Asaolu O.S., Artificial intelligence for sustainable development of intelligent buildings // Proceedings of the 9th CIDB Postgraduate Conference. University of Cape Town, South Africa. 2016.
10. Malekloo A. et al. Machine learning and structural health monitoring overview with emerging technology and high-dimensional data source highlights / Malekloo A., Ozer E., AlHamaydeh M., Girolami M. // Structural Health Monitoring. 2022. Vol 21. Pp. 1906–1955. https://doi.org/10.1177/14759217211036880
11. Renjiang Wu. Application of AI in construction // Proceedings of the 2023 International Conference on Software Engineering and Machine Learning. 2023. Vol. 8. Pp. 98-102. DOI:https://doi.org/10.54254/2755-2721/8/20230090
12. David Bassir et al. Application of artificial intelligence and machine learning for BIM:review / David Bassir, Hugo Lodge, Haochen Chang, Jüri Majak, Gongfa Chen. // Int. J. Simul. Multidisci. Des. Optim. 2023. Vol. 14: 5. https://doi.org/10.1051/smdo/2023005
13. Jiqiao Zhang et al. Sensitivity analyses of structural damage indicators and experimental validations / Jiqiao Zhang, Zhiqiang Teng, Xiaojian Xu, Gongfa Chen, David Bassir // Journal of Applied and Computational Mechanics. — 2020 — pp 798–810. DOI:https://doi.org/10.22055/JACM.2020.35529.2676
14. Zulkifley Hamid et al. Optimization assisted load tracing via hybrid ant colony algorithm for deregulated power system / Zulkifley Hamid, Professor Dr. Ismail Musirin, M.N.A. Rahim, Nor Azwan Mohamed Kamari // WSEAS Transactions Power Systems. — 2012 — vol 7 — pp 145–158. E-ISSN: 2224-350X
15. Mina Sadat Orooje, Mohammad Mehdi Latifi. A review of embedding artificial intelligence in internet of things and building information modelling for healthcare facility maintenance management // Energy and Environment Research. — 2021 — vol 11 — No 2. DOI:https://doi.org/10.5539/eer.v11n2p31
16. Fiorucci M. et al. Machine Learning for Cultural Heritage: A Survey / Fiorucci M., Khoroshiltseva M., Pontil M., Traviglia A., Del Bue A., James S. // Pattern Recognition Letters. — 2020 — vol 133 — pp 102–108. DOI:https://doi.org/10.1016/j.patrec.2020.02.017
17. Pierdicca, R. et al. Point Cloud Semantic Segmentation Using a Deep Learning Framework for Cultural Heritage / Pierdicca R., Paolanti M., Matrone F., Martini M., Morbidoni C., Malinverni E.S., Frontoni E., Lingua A.M. // Remote Sensing. — 2020 — vol 12 — No 6, 1005. DOI:https://doi.org/10.3390/rs12061005
18. Paumard M.-M., Picard D., Tabia H. Deepzzle: Solving Visual Jigsaw Puzzles with Deep Learning and Shortest Path Optimization // IEEE Transactions on Image Processing. — 2020 — vol 29 — pp 3569-3581. doi:https://doi.org/10.1109/TIP.2019.2963378
19. Ibrahim Y., Nagy B., Benedek C. Deep Learning-Based Masonry Wall Image Analysis // Remote Sensing. — 2020 — vol 12 — No 23. DOI:https://doi.org/10.3390/rs12233918
20. Li Jianchun et al. Damage identification in civil engineering structures utilising PCA-compressed residual frequency response functions and neural network ensembles / Li Jianchun, Dackermann Ulrike, Xu You-Lin, Samali Bijan // Structural Control and Health Monitoring. — 2011 — vol 18 —No 2 — pp 207–226. DOI:https://doi.org/10.1002/stc.369
21. Lin M. et al.Transfer learning with attributes for improving the landslide spatial prediction performance in sample-scarce area based on variational autoencoder generative adversarial network / Lin M., Teng S., Chen G., Bassir D. // Land. — 2023 — vol 12 — No 3:525. DOI:https://doi.org/10.3390/land12030525
22. Chen G. et al. A bridge vibration measurement method by UAVs based on CNNs and Bayesian optimization / Chen G., Yan Z., Teng S., Cui F., Bassir D. // Journal of Applied and Computational Mechanics. — 2023 — vol 9 — No 3 — pp 1–14. DOI:https://doi.org/10.22055/jacm.2022.41858.3823
23. Chen G. et al. An inversion algorithm for the dynamic modulus of concrete pavement structures based on a convolutional neural network / Chen G., Chen X., Yang L., Han Z., Bassir D. // Applied Sciences. — 2023 — vol 13 — No 2:1192. DOI:https://doi.org/10.3390/app13021192
24. Teng S. et al. Structural damage detection based on convolutional neural networks and population of bridges / Teng S., Chen X., Chen G., Cheng L., Bassir D. // Measurement. — 2022 — vol 202: 111747 — ISSN 0263-2241. DOI:https://doi.org/10.1016/j.measurement.2022.111747
