Россия
Ростовская область, Россия
с 01.01.2019 по 01.01.2021
УДК 69.059 Повреждения. Обвалы. Разрушения. Ремонт. Усиление. Передвижка. Снос. Реконструкция. Уход за сооружениями
ГРНТИ 67.53 Инженерное обеспечение объектов строительства
ГРНТИ 67.01 Общие вопросы строительства
ОКСО 08.02.01 Строительство и эксплуатация зданий и сооружений
ББК 382 Изыскания и проектирование в строительстве
ББК 308 Монтаж, эксплуатация, ремонт машин и промышленного оборудования
BISAC ARC024000 Buildings / General
Рассматривается возможность применения беспилотных летательных аппаратов при обследовании технического состояния высотных гражданских и производственных сооружений даже с мало различимыми дефектами и повреждениями, при фотофиксации и анализе повреждений в труднодоступных местах. Показаны примеры основных видов компоновки беспилотных летательных аппаратов и набора вспомогательных элементов, установленных на дронах. Приведены возможные автоматизированные методики контроля, основанные на методах цифровой обработки изображений и искусственном интеллекте, применяемые к идентификации дефектов и повреждений при проведении мониторинга. Указываются преимущества, целесообразность и перспективы использования беспилотных летательных аппаратов при дистанционном и контактном (не разрушающем) методе инспекции строительных конструкций.
дроны, квадрокоптеры, беспилотные летательные аппараты, обследование, методы контроля, дистанционный контроль, мониторинг
Типовая программа обследования технического состояния зданий и сооружений [1] в обязательном порядке включает в себя следующие основные этапы:
- выполнение обмерных работ с целью определения объемно-планировочных и конструктивных параметров объекта, составление обмерных чертежей;
- определение необходимых физических и прочностных характеристик материалов конструкций;
- выявление дефектов и повреждений элементов строительных конструкций;
- анализ результатов обследования с выдачей заключения о техническом состоянии объекта.
Неотъемлемой частью работ по обследованию является фотофиксация объектов с использованием телеобъективов. Процесс фотосъемки высотных зданий и промышленных сооружений возможен лишь на значительном удалении от объекта. Выполнение данного условия в большинстве случаев затруднено в виду стесненных условий или ограниченной видимости фасада. Обследование высотных сооружений возможно также с привлечением промышленных альпинистов. Главное преимущество такого способа заключается в том, что альпинист осматривает дефекты в контактной зоне, но для качественного проведения данного вида работ необходимо приглашение альпинистов высокой квалификации, имеющих обширный опыт в обследовании зданий.
Сделать выполнение этапов обследования сложных объектов более эффективным и безопасным для всех, кто участвует в этом процессе, особенно, когда речь идет о многоэтажных зданиях, труднодоступных для освидетельствования производственных объектах (дымовые трубы, градирни, резервуары, мачты и т.д.) возможно при использовании беспилотных летательных аппаратов (БПЛА), оснащенных фотокамерой или другими необходимыми приборами.
Не удивительно, что некоторые вузы планирует интегрировать использование дронов в текущую учебную программу студентов-строителей, что позволит будущим выпускникам быстрее добиться успеха в отрасли. Умение оценить техническое состояние строительных конструкций зданий и сооружений, выявить возможную потребность в техническом обслуживании или восстановлении является одной из заявленных компетенций при подготовке многих направленностей магистратуры по направлению 08.04.01.
Несмотря на то, что на рынке представлено большое количество дронов, в строительной отрасли обычно используются промышленные дроны [2]. В зависимости от типа используемой воздушной платформы [3] существует три основных типа БПЛА (таблица 1):
- БПЛА с роторами;
- БПЛА с неподвижным крылом;
- гибридные БПЛА с неподвижным крылом.
Применение мультироторов в основном эффективно для аэрофотосъемки и видеозаписи. Эти типы дронов можно классифицировать по количеству роторов, например, трикоптеры (три ротора), квадрокоптеры (четыре ротора), гексакоптеры (шесть роторов) и октокоптеры (восемь роторов) [4].
Недостатками мультироторных БПЛА являются их ограниченная выносливость и малая скорость. Из-за этих ограничений такие типы БПЛА не подходят для крупномасштабной аэрофотосъемки, например, трубопроводов, дорог, линий электропередач, автомагистралей и т.д. В зависимости от веса дрона и камеры мультироторные БПЛА в настоящее время находятся в воздухе в среднем не более 20-30 минут [5].
Таблица 1
Основные типы БПЛА в строительной отрасли
БПЛА с неподвижным крылом работают по существу по тому же принципу, что и пассажирские самолеты. Эти БПЛА создают подъемную силу с помощью неподвижных крыльев [4], а не вертикальных роторов, могут достигать большой высоты во время полета, энергия нужна им только для того, чтобы двигаться вперед, а не для того, чтобы удерживаться в воздухе. По этой причине БПЛА с неподвижным крылом являются гораздо более эффективным вариантом для топографического картирования больших площадей и способны преодолевать большие расстояния, чем мультироторные БПЛА. Основным недостатком БПЛА с неподвижным крылом является невозможность оставаться в воздухе на одном месте и способность летать только вперед, что не позволяет им создавать подробные аэрофотоснимки, например, эксплуатируемых сооружений. Для точных воздушных работ, требующих более детальных действий, например, детальной аэрофотосъемки зданий, использование БПЛА с несколькими роторами является лучшим решением, поскольку с ними легко работать в воздухе, а конструкция ротора позволяет им стабильно парить в воздухе [2].
Еще одним недостатком БПЛА с неподвижным крылом является особенность его взлета и посадки. В зависимости от размера дрона необходимо иметь взлетно-посадочную полосу или пусковую установку для катапульты, чтобы поднять его в воздух, и взлетно-посадочную полосу, чтобы безопасно доставить его обратно на землю [5].
Для устранения недостатков БПЛА с неподвижным крылом некоторые производители решили объединить их положительные свойства с преимуществами мультироторных дронов и разработали БПЛА, которые могут взлетать вертикально, а затем переходить в горизонтальный полет с помощью крыла — это гибридные беспилотные летательные аппараты [4]. Гибридный беспилотник летит по заранее запланированному маршруту полета на заданной пользователем высоте и собирает данные с помощью своих цветных и мультиспектральных датчиков. По завершении своей миссии беспилотник может приземлиться вертикально в исходную точку [4].
При обследовании технического состояния строительных объектов с помощью БПЛА могут быть использованы:
- системы визуального контроля — камеры. Их функционал включает в себя получение изображения и видео с высоким разрешением, термальный и спектральный анализ объекта;
- системы трехмерного лазерного сканирования (лидар), которые позволяют получить и обработать информацию об удаленных объектах с помощью активных оптических систем, использующих явления поглощения и рассеивания света в оптически прозрачных средах. С помощью данной технологии возможна геолокация и обнаружение объектов;
- системы сенсоров, которые позволяют определять интенсивность света, давление, наличие паров, газов, УФ-излучения, направление полета, ускорение БПЛА.
Управление БПЛА возможно на различных уровнях контроля:
- при дистанционном управлении - нет автономных возможностей для выполнения задачи, необходим постоянный контроль человека;
- выполнение задачи может быть запрограммировано заранее, действие будет повторяться до тех пор, пока не будет приказано остановиться или произойдет предопределенное выключение. Может выполняться с вмешательством человека или без него;
- полуавтономный или автономный способ управления – аппарат способен решать одну или несколько задач; доступ к данным датчиков выполняется в реальном времени; имеет набор целей для достижения, использует собственный интеллект для восприятия ситуации.
Последние разработки, применяемые к идентификации дефектов и повреждений при обследовании зданий и сооружений, предлагают почти автоматизированные методики контроля, основанные на методах цифровой обработки изображений и искусственном интеллекте, в которых изображения, захваченные беспилотными летательными аппаратами, обрабатываются и анализируются специалистом для разработки плана дальнейших действий [6]. В библиографии представлены два основных подхода к идентификации повреждений на основе цифровых изображений: эвристические методы извлечения признаков [7] и методы, основанные на глубоком обучении [8].
Эвристические методы извлечения признаков основаны на применении фильтров, особенно фильтров обнаружения границ, например, градиентных фильтров Собеля и применения метода Кэнни. Методы решения многих задач в системах технического зрения строятся в расчете на использование контурного изображения, которое формируется из полутонового изображения тем или иным способом. Детекторы границ градиентного типа строятся, как правило, в два этапа. На первом этапе производится сглаживание изображения, а на втором – выделение границ перепада яркости. При этом второй этап также может состоять более, чем из одного шага. Например, оператор Собеля дает градиентное изображение в виде толстых линий, и потому для решения задач более высокого уровня требуется утоньшение линий [9,10]. Эти фильтры могут обнаруживать границы между областями изображения с разной яркостью и выявлять определенные текстуры, позволяя локализовать пиксели на краях трещины.
В качестве альтернативы, несколько алгоритмов глубокого обучения широко используются в компьютерном зрении, особенно для изучения признаков и классификации изображений, однако наиболее широко и успешно применяются сверточные нейронные сети (convolutional neural networks - CNN). CNN были специально разработаны для выявления трещин и включают в себя процедуру обучения, основанную на большом наборе изображений реального мира, репрезентативных для сценариев с трещинами и без них, и определение модели классификации, основанной на группе последовательных слоев, связанных со специальными математическими операторами. Обученная классификационная модель впоследствии применяется к новым изображениям, на которых необходимо обнаружить трещины.
На рис. 1 представлен обзор интегрированной методологии дистанционного осмотра и мониторинга железобетонных конструкций, поддерживаемых БПЛА. БПЛА оснащен высокоточной системой спутниковой навигации (GPS), которой помогает система коррекции положения типа кинематики в реальном времени (RTK - Real Time Kinematic) при поддержке местной станции. БПЛА также оснащен собственной камерой, которая обеспечивает высокоточные изображения с географической привязкой.
Рис.1 Обзор комплексной методологии дистанционного контроля и мониторинга
а; в) RTK (Real Time Correction) — система коррекции положения типа кинематики в реальном времени; б) GNSS (Global Navigation Satellite System) — спутниковая система навигации; г; е) модуль IMU (Inertial Measurement Unit) — инерциальный измерительный модуль; д) система распознавания с помощью нейронных сетей.
Для удаленной проверки методология предлагает два разных метода: один основан на эвристических функциях, а другой основан на CNN, оба реализованы в программном обеспечении MATLAB. В случае CNN может быть выполнена идентификация трещины - обнаружение трещины и оценка ее геометрических характеристик (толщины и длины). Нейронные сети не программируются, а обучаются по исходному набору данных. Возможность обучения – одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. ИНС (искусственная нейронная сеть) применяются для решения задач классификации и распознавания образов, оптимизации, прогнозирования и автоматизации процессов. C целью наиболее эффективного построения технологических процессов в строительстве с учетом различных факторов риска можно выделить две потенциальные области применения: прогнозирование рисков и анализ накопленной информации. Существующие проблемы прогнозирования рисков связаны с недостаточным качеством и количеством исходных данных, их динамическими изменениями, воздействием различных субъективных факторов. Вследствие чего прогнозирование выполняется с некоторой погрешностью, которая зависит от используемой модели и объема исходных данных. Если увеличивать качество и количество информации для моделирования, то улучшается точность прогноза, а убытки, связанные с рисками, могут быть заметно сокращены. Таким образом, в общем случае задача прогнозирования приводится к получению оценки данных, упорядоченных во времени, на основе анализа ранее собранной информации, введенной в модель, а также тенденций изменения внешних факторов [11].
Дистанционное обследование с использованием БПЛА включает в себя три этапа:
- распознавание конструкции и подготовка к полету;
- кампания по сбору изображений с использованием БПЛА;
- обработка изображений на основе эвристических признаков или CNN.
Первый этап обычно включает в себя сбор информации по элементам объекта и изучение истории осмотра конструкции, а также разработку плана полета, включая разрешение на полет, оборудование и технический персонал. Второй этап включает в себя топографическую съемку реперных точек сооружения, что необходимо для геопривязки изображений, а также съемку изображений с помощью фото/видеокамеры БПЛА. Наконец, третий этап включает в себя автоматическую идентификацию трещин на поверхности железобетона на основе эвристических признаков или CNN. Обработанные изображения с топографической привязкой могут быть использованы для выполнения трехмерного геометрического восстановления структуры путем применения методов фотограмметрии, доступных в программном обеспечении (ПО) Pix4Dmapper. ПО Pix4Dmapper автоматически преобразует изображения, полученные с БПЛА, или изображения наземной съемки и обеспечивает составление высокоточных карт и 3D-моделей с географической привязкой. [12].
Эвристическая обработка изображений для обнаружения трещин включает в себя, во-первых, обнаружение краев, а затем применение морфологических признаков, которые улучшают их визуализацию, в частности, точность ее трассировки. Автоматическое определение края выполняется применением метода Кэнни [13], который позволяет идентифицировать объекты на изображении, объединяя их в разные кластеры, т. е. кластеры, связанные с трещинами и остальной частью изображения. Затем к краям применяется определенный ряд морфологических признаков, в частности расширение изображения, заполнение и эрозия. Наконец, трещина усиливается на исходном изображении с помощью искусственного цвета (красного). На рис. 2 показаны основные этапы автоматического обнаружения трещин на основе эвристических признаков.
Рис. 2 Алгоритм эвристического признака: а) исходное изображение; б) метод Канни; в) расширение краев, пломбирование и эрозия; г) усиленная трещина.
Обследование и техническое обслуживание производственных объектов, а также мостов, туннелей, плотин требуют детального осмотра для выявления коррозии, обнаружения трещин, сколов, вмятин на труднодоступных поверхностях, который нельзя выполнить бесконтактным методом. Дефекты во многих случаях плохо видны на поверхности и не могут быть должным образом оценены. Выполнение контактного освидетельствования на высоте является опасным и дорогостоящим мероприятием, так как рабочие должны добраться до мест, подлежащих осмотру, с помощью тросов, кранов или строительных лесов. В таких ситуациях применение воздушных роботов (рис. 3, 4) очень актуально. С их помощью возможно [14] обнаружение, точная локализация и измерение повреждений.
Рис. 3 Дрон AeroX, с манипулятором
Рис. 4 TRIC (трехколесный инспекционный гусеничный сканер), установленный в дроне AeroX
Однако, есть некоторые проблемы, которые необходимо решить. Первая заключается в поддержании контакта с рабочим прибором, установленным на БПЛА в местах освидетельствования. Во-вторых, требуется подавлять возмущения, вызванные ветром и аэродинамическими эффектами, создаваемыми близлежащими поверхностями. Кроме того, во многих случаях очень важно иметь достаточную точность позиционирования рабочего прибора. Позиционирование должно выполняться и при условиях, когда отсутствует GNSS (например, под мостом), и в местах, где отсутствуют маркеры или маяки. Кроме того, необходимо предусмотреть меры, компенсирующие последствия столкновений и неожиданных контактов с поверхностями. При этом рабочий прибор манипулятора на борту летательного робота должен поддерживать контакт с обрабатываемой поверхностью.
Важным аспектом является установление связи между робототехническими платформами, в частности, воздушными роботами, с соответствующими технологиями неразрушающего контроля и контактными датчиками. Действительно, в то время как бесконтактные освидетельствования с использованием дронов в настоящее время могут выполняться с помощью оптических, инфракрасных, ультрафиолетовых датчиков, все еще необходимы новые разработки для контактного неразрушающего контроля, который может выполняться с помощью воздушных дронов в промышленном масштабе. Технологические проблемы связаны с трудностью манипулирования контактными датчиками неразрушающего контроля (в первую очередь электромагнитными и ультразвуковыми) с той же ловкостью, что и у сертифицированного инспектора по неразрушающему контролю. В частности, управление положением, колебанием, ориентацией, траекторией (точечные измерения, линейное или растровое сканирование), скоростью и прикладываемой контактной силой зонда, прикрепленного к воздушному роботу, все еще требуют усилий по разработке.
На практике контактными методами неразрушающего контроля, которые покрывают большую часть потребностей в освидетельствовании объектов электроэнергетики и нефтегазовой промышленности, помимо визуального контроля, являются электромагнитные методы в основном для поверхностных разрывов, таких как трещины, и ультразвуковые методы для подповерхностного контроля (истончение стенки из-за коррозии или обнаружение пористости). Другие методы, обычно используемые для контроля поверхностных дефектов, такие как цветная дефектоскопия при помощи жидкости и магнитоскопия, трудно интегрировать в БПЛА из-за несовместимости методов работы. Преимущество вихревых токов и ультразвуковых методов заключается в том, что датчики и электроника обнаружения могут быть миниатюрными, что является критическим критерием для интеграции в воздушную робототехнику. Можно показать, что полезная нагрузка на измерительный канал, включая зонд и электронику, может составлять всего 15 г. Следует отметить, что обнаружение коррозии под изоляцией представляет значительные трудности для любого метода, независимо от того, используется ли он с помощью воздушного робота или в процессе ручного контроля.
Применение БПЛА решает проблему обследования малодоступных участков зданий и сооружений, даже с мало различимыми дефектами и повреждениями, позволяет выполнять контактное освидетельствование на большой высоте, кроме того дроны могут быть использованы при контроле безопасности на строительной площадке, инспектировании строительства, измерении объемов и 3D-моделировании.
1. Пособие по обследованию строительных конструкций зданий. АО «ЦНИИПРОМЗДАНИЙ». Москва. 1997.
2. Zitzman, L. (2018, October). Drones in Construction: How They’re Transforming the Industry.
3. Retrieved August 2, 2019, from https://www.bigrentz.com/blog/drones-construction
4. (2017, February). Types of Drones - Explore the Different Models of UAV’s. Retrieved August 2, 2019, from http://www.circuitstoday.com/types-of-drones
5. Drone Omega. Types of Drones. Retrieved August 2, 2019, from https://www.droneomega.com/types-of-drones/
6. Chapman, A. (2016, June). Types of Drones: Multi-Rotor vs Fixed-Wing vs Single Rotor vs Hybrid VTOL. Retrieved August 3, 2019, from https://www.auav.com.au/articles/drone-types/
7. Евстратов, В.С. О применении искусственных нейронных сетей в строительстве / В.С. Евстратов // Интеграция, партнерство и инновации в строительной науке и образовании: сборник материалов международной научной конференции, Москва, 16-17 ноября 2016 года / ФГБОУ ВО «Национальный исследовательский Московский государственный строительный университет». - Москва: Национальный исследовательский Московский государственный строительный университет, 2017. - С. 416-417.
8. Гонсалес Р., Вудс Р. Цифровая обработка изображений. - М.: Техносфера, 2005. 1072 с.
9. Форсайт Д. А., Понс Ж. Компьютерное зрение. Современный подход. - М.: Вильямс, 2004. 928 с.
10. А.А. Тихонов, Д.Ж. Акматов, Обзор программ для обработки данных аэрофотосъемки ISSN 0236-1493. Горный информационно-аналитический бюллетень. 2018. № 12. С. 192-198. © А.А. Тихонов, Д.Ж. Акматов. 2018 DOI:https://doi.org/10.25018/0236-1493-2018-12-0-192-198
11. Dorafshan S, Maguire M (2018) Bridge inspection: human performance, unmanned aerial systems and automation. J Civ Struct Heal Monit 8(3):443-476. https://doi.org/10.1007/s13 349-018-0285-4
12. Ribeiro D, Santos R, Shibasaki A, Montenegro P, Carvalho H, Calçada R (2020) Remote inspection of RC structures using unmanned aerial vehicles and heuristic image processing. Eng Failure Anal 117: 104813. https://doi.org/10.1016/j.engfailanal.2020.104813
13. Tran VP, Tran TS, Lee HJ, Kim KD, Baek J, Nguyen TT (2020) One stage detector (RetinaNet)- based crack detection for asphalt pavements considering pavement distresses and surface objects. J Civ Struct Heal Monit 11(1):205-222. https://doi.org/10.1007/s13349-020-00447-8
14. Anibal Ollero, Bruno Siciliano Aerial Robotic Manipulation, Springer Tracts in Advanced Robotics 129 https://doi.org/10.1007/978-3-030-12945-3
