Актуальность работыВажным направлением развития мониторинга различных строительных процессов, как на этапе строительства, так и на этапе эксплуатации является цифровизация обработки данных [36], полученных в результате работы различных устройств и датчиков систем мониторинга.Аналитика больших данных, собираемых с различных сенсоров и датчиков, требует больших вычислительных мощностей. Для повышения точности вычислительных моделей и уменьшения времени работы, которое требуется для анализа получаемой информации с различных IoT-устройств, применяются методы предобработки данных.Основа интеллектуальных систем, использующих данные устройств Интернета вещей, — анализ данных в режиме реального времени. Такие данные имеют временную метку и представляют собой временной ряд. Примерами таких данных могут служить информация, поступающая от различных датчиков (воды, дыма, температуры и т.д.). Интеллектуальная система проводит мониторинг данных со всех устройств в режиме реального времени и моделирует поведение временных рядов в будущем. Например, оповещение о пожаре в помещении и его предотвращение или прогнозирование. Важное свойство временного ряда для анализа и моделирования его поведения интеллектуальной системой – стационарность. Большинство алгоритмов анализа работают для стационарных рядов.Стационарность модулируемого набора данных предполагается для классических статистических методов, использующихся для исследования временных рядов, и для методов регрессионного анализа, основанных на нейронных сетях и вычислительном интеллекте [1]. Однако в настоящих временных рядах присутствует динамическая или статистическая нестационарность, переходный или прерывистый хаос, псевдослучайность или суперпозиция паттернов. Иными словами, временные ряды часто демонстрируют нелинейное поведение. При использовании классических статистических методов для анализа временных рядов нелинейность приводит к неточности результата. Как следствие, для повышения производительности методов моделирования и получения более точных результатов проводится удаление трендов (детрендирование) и сезонных отклонений (десезонализация) [2, 3]. На самом деле, обнаружение и моделирование трендов — одна из основных задач анализа и прогнозирования временных рядов. Основные причины, для которых применяется задача поиска трендов:превращение нестационарного временного ряда в стационарный; описание поведения нестационарного временного ряда путем разложения на такие компоненты, как тренд, циклы, флуктуации и шум.Этапы предварительной обработки рядов (например, детрендирование) могут влиять на результаты методов анализа и прогнозирования, поэтому проблема поиска трендов во временных рядах по-прежнему содержит множество фундаментальных вопросов [4]. Анализ воздействия методов детрендирования на модели вычислительного интеллекта смог бы ускорить разработку надежных методологий, основанных на искусственном интеллекте, для временных рядов.Несмотря сильное влияние, которое может оказывать детрендирование на анализ временных рядов, в литературе описано мало экспериментальных и теоретических исследований на эту тему. Доступные результаты зачастую разрозненны или противоречивы, а иногда применимы лишь к узким предметным областям. Большая часть таких исследований основаны на синтетических или ограниченных данных реального мира [5, 6].В данной статье анализируется влияние различных подходов детрендирования временных рядов на производительность моделей CI. Статья организована следующим образом: с начала детрендирование рассматривается в общем контексте этапов предварительной обработки временных рядов. Затем дается определение тренда, а также описываются методы извлечения тренда, используемые в данном исследовании. В последних разделах описаны экспериментальные результаты. Детрендирование — процесс, с помощью которого производится удаление тренда из временного ряда. Самый простой метод детрендирования заключается в подборе детерминированной компоненты (как правило, линейной) и вычитании этой компоненты из всех значений ряда. Остаток после этой операции является флуктуацией. Одно из главных ограничений для применения такого подхода заключается в том, что детрендированный ряд должен быть числовым рядом с нулевым средним значением для рассматриваемого периода времени [7].В целом, детрендирование является лишь одним из возможных этапов предварительной обработки временного ряда перед построением модели CI. Другими этапами могут быть также: заполнение пропущенных значений, обработка выбросов, шумоподавление, фильтрация, нелинейные преобразования для улучшения гладкости, выбор переменных,вычисление динамических и статистических характеристик, таких как остаточная дисперсия и временные лаги. Во многих случаях разделение этапов предварительной обработки и непосредственно анализа данных неясно. Например, можно совместно выполнять задачи, связанные как с выбором модели, так и с обработкой выбросов.Более того, разница между фильтрацией, шумоподавлением и детрендированием может быть неочевидной. Один и тот же метод может использоваться для выполнения нескольких из перечисленных задач. В этой статье подходы детрендирования являются единственным этапом предварительной обработки (помимо нормализации значений). При таком подходе временной ряд может быть разложен следующим образом:                            yt=Tt+rt,                                                                     (1)где r(t) — остаточная величина или флуктуация вокруг тренда T(t). Компонент флуктуации r(t) может иметь как стохастические, так и детерминированные компоненты.В некоторых областях очень распространено разделение временного ряда на три компонента: помимо тренда и флуктуации добавляется еще сезонный компонент. Для простоты в данной статье анализ ограничен описанным выше подходом. Анализ влияния методов десезонализации оставлен для дальнейшей работы [8]. На данный момент нет единого мнения о том, как следует моделировать тренды, хотя проводился ряд сравнительных исследований. Кроме того, несмотря на широкое распространение и использование термина, понятие тренда не имеет одного формального определения. В итоге, существует большое разнообразие методов извлечения тренда, и сложно сделать выводы, какие из этих методов являются наилучшими.Согласно одному из определений, тренд — это гладкий аддитивный компонент, который содержит информацию о глобальных изменениях. В этом определении упор делается на такие ключевые аспекты, как гладкость, аддитивность и информация [9].С точки зрения других ключевых аспектов: частоты и времени, тренд можно определить, как остаток после удаления высокочастотных компонентов выше определенного порога. Такое определение используется в методах, основанных на вейвлетах, кривых или анализе сингулярного спектра, и непараметрических методах фильтрации, таких как фильтр Ходрика-Прескотта или более поздних фильтрах для извлечения кусочно-линейных трендов на основе L1-минимизации [10, 11, 12].Часть подходов по выявлению тренда основываются на свойстве регрессии. Это, например, модели ARIMA. Аналогичным образом, подходы к перемещению средних основаны на заранее заданной временной шкале для вычисления средних значений [13, 14].Таким образом, процесс детрендирования зависит от используемых методов, их параметров и определения, лежащего в основе. Например, при использовании вейвлет-анализа выбор типа вейвлета может оказать определяющее влияние на результат процесса детрендирования [15].В данной статье рассматриваются 3 наиболее распространенных беспараметрических автоматических метода общей применимости, которые находят четко определенный тренд.               а) Линейное детрендированиеЛинейное детрендирование является наиболее распространенным методом поиска тренда. Этот способ заключается в построении прямой линии, соответствующей основному поведению временного ряда.Процесс детрендирования представляет собой вычитание прямолинейного тренда Tt=a0+b0t из временного ряда и получение остатка с нулевым средним значением. Этот линейный подход к детрендированию является частным случаем полиномиального детрендирования: полиномиальное детрендирование первого порядка [16]. Реализация, используемая в следующих разделах этой статьи, основана на подгонке по методу наименьших квадратов, выполняемой QR-разложением временной области. Для улучшения численных характеристик подбора оно применяется при следующем преобразовании временной области [17]: где µ1 и µ2 - среднее значение и среднеквадратическое отклонение t соответственно. При детрендировании с полиномиальной подгонкой более высокого порядка могут возникать проблемы с переобучением.              b) Детрендирование методом EMDЗачастую динамика временного ряда неизвестна, а его данные нестационарны. В таком случае можно использовать декомпозицию на эмпирические моды (EMD) [18].Тренд в этом подходе — детерминированная монотонная функция или функция в пределах определенного временного интервала, где может быть не более одного экстремума [19]. EMD выполняется с помощью итеративного процесса, известного как просеивание. Алгоритм просеивания [20]:определить все локальные экстремумы y(t).построить верхнюю и нижнюю огибающую, yup(t) и ylow(t) соответственно, соединив все локальные экстремумы (максимумы и минимумы соответственно) с помощью кубического сплайна [21].вычислить среднее значение огибающей m(t) точка за точкой.извлечь сигнал детализации, dt=yt-m(t) .проверить свойства сигнала детализации: удовлетворяет этот сигнал условиям остановки или нет.повторить шаги 1-5 до тех пор, пока остаток не удовлетворит определенному условию остановки.В конце процесса просеивания исходный временной ряд yt раскладывается следующим образом:       где rpt - конечный остаток, а тренд cj(t) - функции эмпирической моды, а p — количество мод.Затем, применяя преобразование Гильберта к каждой моде, yt может быть выражено в частотно-временных областях следующим образом [22]:где RP обозначает действительную часть преобразований, aj(t) - коэффициент расширения, зависящий от времени, а ωjτ - частота в момент времени τ. Таким образом, частота и амплитуда каждого компонента являются функциями времени. Это очень похоже на ряд Фурье, который будет иметь следующий вид [23]:где и ωj, и ajявляются константами. В таком случае можно рассматривать эмпирические моды как обобщенное разложение Фурье. Такой подход имеет 2 преимущества:более сжатое расширение;возможность учитывать нелинейное и нестационарное поведение набора данных.Таким образом, метод EMD позволяет разделить среднюю и флуктуирующую компоненты сигнала (устойчивые компоненты и возмущения, где среднее время возмущений равно нулю).               c) Дифференцирование первого порядкаДифференцирование ряда — это переход к ряду, состоящему из попарных разностей исходного ряда:Такая операция позволяет получить из нестационарного ряда стационарный, стабилизировать среднее значение ряда и избавиться от тренда, а иногда даже от сезонности [24].Продифференцированный ряд имеет только N -1 значений, так как невозможно вычислить разницу y1' для первого наблюдения.ЭкспериментыВ последующих экспериментах используется моделирование на временных рядах в реальном времени (как для детрендирования, так и для моделирования флуктуаций). Эксперимент должен дать ответ на вопрос: какие подходы удаления тренда могут быть использованы в общем случае, а какие более эффективны в конкретных условиях. В данной статье оцениваются три подхода к детрендированию: линейное, основанное на EMD и дифференцирование первого порядка.CI методыДля моделирования временных рядов были использованы следующие методы CI: DENFIS, GP, MLP, OP-ELM и SVM. Для DENFIS использовался оффлайн-режим обучения из набора инструментов DENFIS. Модели GP строятся с использованием настроек по умолчанию из набора инструментов GPML. В частности, используется ковариационная функция как сумма квадратичной экспоненциальной функции и независимого шума. Модели OP-ELM строятся с использованием набора инструментов OP-ELM. Для обучения были выбраны настройки по умолчанию, а именно, все возможные ядра: линейное, сигмоидное и гауссово, и использовались 100 скрытых узлов [25, 26].В случае отбора моделей MLP и SVM использовалась кросс-валидация с 10% тестовых данных от общей выборки. Для моделей SVM применялась стратегия поиска по сетке для изучения трех параметров в логарифмической шкале в диапазоне [-2, 10]. Регрессия вектора поддержки использовалась с ядрами радиальных базисных функций. Реализация этого метода была взята из библиотеки libSVM [27]. Метод MLP реализован с использованием стандартного набора инструментов нейронных сетей, включенного в библиотеку scikit-learn. Сети оптимизируются с использованием алгоритма Левенберга-Марквардта. Чтобы смягчить эффект локальных минимумов, для каждой подвыборки данных и для каждого размера сети (от 1 до 20 скрытых узлов) выполняется десять проходов, на усредненных результатах которых и выбирается модель, дающая наименьшую ошибку [28, 29].Наборы данныхДля простоты в этом исследовании использовались одномерные временные ряды. Для исследования были выбраны наборы данных, удовлетворяющие следующим требованиям:данные сгенерированы настоящими устройствами, а не являются синтетическими;данные содержат как минимум несколько сотен тестовых значений, чтобы ошибки тестирования были статистически значимыми.Эти наборы данных были выбраны для поиска компромисса между следующими целями: упрощение сравнения с соответствующей литературой, выбор наборов данных для широкого спектра характеристик (переменные, размер, динамическое поведение и т.д.). В частности, некоторые наборы данных представляют собой явно нестационарные процессы.Все перечисленные ниже наборы данных взяты из открытых источников:Smart Home Dataset with weather InformationНабор данных содержит записи показателей бытовой техники от интеллектуального счетчика в кВт за промежуток времени в 1 минуту и погодные условия конкретного региона [30].Energy consumptionЕжегодная статистика по потреблению электричества и газа от частных энергетических компаний [31].Temperature Readings: IoT DevicesЖурнал записей температуры внутри и вне различных комнат жилого здания за один год [32].Solar Power Generation DataНабор данных с показателями собранной энергии от двух солнечных батарей за 34 дня [33].Рис. 1. Временной ряд потребления электроэнергииРис. 2. Временной ряд и скользящая средняя собранной энергии с солнечной батареи Моделирование и предсказание результатовПредсказательные модели для детрендированных временных рядов строятся в соответствии с традиционным подходом обучения моделей [34]:Определяются обучающая и тестовая выборки данных;Строится модель для обучающего набора; Эффективность и точность модели оценивается на тестовом наборе данных.Среднеквадратические ошибки моделей на тестовых данных, а также время обучения указаны в таблицах 1-4 [35]. Таблица 1. Результаты для набора данных №1МетодДетрендированиеСреднеквадратическая ошибкаВремя, сDENFISотсутствует0.6971.25линейное0.6640.94emd0.6710.74дифференцирование0.7441.68MLPотсутствует0.716725линейное0.739712emd0.723981дифференцирование0.724671OP-ELMотсутствует0.6990.78линейное0.7090.63emd0.7120.97дифференцирование0.7200.71SVMотсутствует0.72437.4линейное0.72239.8emd0.72138.3дифференцирование0.71625.7GPотсутствует0.70134.6линейное0.69829.1emd0.69747.4дифференцирование0.73235.8 В таблице 1 представлены результаты вычисления среднеквадратичной ошибки для временных рядов показателей бытовой техники с разными способами детрендирования. Линейное детрендирование обеспечивает небольшое улучшение для DENFIS, SVM и GP. Однако результаты несколько хуже (ошибки на 2-3% выше) для MLP и OP-ELM. EMD показал в половине случаев улучшение, а в другой половине ухудшение качества моделей, если сравнивать с качеством без детрендирования. Дифференцирование приводит к худшим результатам, за небольшим исключением для SVM.Таблица 2. Результаты для набора данных №2МетодДетрендированиеСреднеквадратическая ошибкаВремя, сDENFISотсутствует0.3356.47линейное0.3426.89emd0.3366.31дифференцирование0.35018.4MLPотсутствует0.3472788линейное0.3713089emd0.3772670дифференцирование0.3472145OP-ELMотсутствует0.36212.3линейное0.33712.8emd0.33511.5дифференцирование0.34211.7SVMотсутствует0.3562687линейное0.3492642emd0.3572376дифференцирование0.3532734GPотсутствует0.3342464линейное0.3353537emd0.3392662дифференцирование0.3722189 Аналогичные результаты для временных рядов потребления энергии приведены в таблице 2. Ошибки теста, как правило, немного хуже при линейном детрендировании, чем без детрендирования. EMD детрендирование дает результаты эквивалентные или немного лучше линейного, но все же хуже, чем при отсутствии детрендирования (за небольшим исключением для OP-ELM). Дифференцирование первого порядка дает явно лучшие результаты в случаях OP-ELM и SVM.Таблица 3. Результаты для набора данных №3МетодДетрендированиеСреднеквадратическая ошибкаВремя, сDENFISотсутствует0.4382.46линейное0.4472.87emd0.4353.66дифференцирование0.3244.70MLPотсутствует0.448874линейное0.457882emd0.4511348дифференцирование0.3271037OP-ELMотсутствует0.4471.98линейное0.4561.64emd0.4532.96дифференцирование0.3442.25SVMотсутствует0.439448линейное0.447457emd0.431473дифференцирование0.320594GPотсутствует0.436163линейное0.441172emd0.429275дифференцирование0.313208 Результаты для временных рядов записей температуры приведены в таблице 3. Результаты для линейного детрендирования немного хуже для всех методов. Детрендирование, основанное на EMD, обеспечивает лучшие результаты, чем линейный, но все же дает очень незначительные улучшения или худшие результаты, если сравнивать с результатами без детрендирования. Тем не менее, дифференцирование первого порядка позволяет снизить показатель среднеквадратической ошибки по крайней мере на 25% для всех методов.Таблица 4. Результаты для набора данных №4МетодДетрендированиеСреднеквадратическая ошибкаВремя, сDENFISотсутствует0.2371.85линейное0.2452.42emd0.2382.05дифференцирование0.4061.81MLPотсутствует0.2312047линейное0.1882176emd0.1432368дифференцирование0.2571987OP-ELMотсутствует0.1321.93линейное0.2161.61emd0.1692.47дифференцирование0.2431.72SVMотсутствует0.166159линейное0.178157emd0.167162дифференцирование0.234194GPотсутствует0.118160линейное0.134175emd0.121192дифференцирование0.187274 В таблице 4 представлены результаты для накопленной энергии с солнечных батарей. Ошибки теста, как правило, выше для линейного детрендирования, чем без детрендирования, за исключением MLP. EMD обеспечивает в целом значительно лучшие результаты, чем линейное детрендирование, но все же дает худший результат, если сравнивать с отсутствием детрендирования. Ошибки теста для дифференцирования явно хуже, без каких-либо исключений.ДискуссияОсновываясь на приведенных выше результатах, можно сделать однозначный вывод, что в общем случае использование детрендирования не улучшает производительность методов CI ни в точности, ни в производительности. Более того, детрендирование не всегда давало положительный эффект — в части экспериментах результат применения модели к временному ряду без детрендирования был выше.Таким образом, нельзя сделать вывод, является ли применение детрендирования желательным для конкретного случая. Возможно, именно этот факт и является причиной осторожного применения детрендирования при исследовании временных рядов.Для конкретных методов детрендирования можно сделать следующие выводы:Линейный метод детрендирования и метод, основанный на EMD:Извлечение тренда не дает увеличения точности результатов. Только для 1 из 4 наборов данных применение этих методов давало незначительный прирост точности вычислений;Детрендирование на основе EMD дает лучшие результаты, чем линейное детрендирование. В части случаев разница была значительной, а в части — нет.Метод дифференцирования первого порядка:В некоторых случаях значительно повышал точность моделей. Это может быть следствием его способности извлекать циклические компоненты.Использование этого метода может привести к худшим результатам, чем результаты, полученные без детрендирования или с другими методами детрендирования.Что касается вычислительного времени, то можно сделать вывод, что влияние линейного детрендирования зависит от метода и набора данных и не является значительным. Детрендирование на основе EMD приводит к значительному увеличению времени обучения. Дифференцирование первого порядка в целом не ускоряет вычисления, напротив, во многих случаях приводит к значительному замедлению.Стоит иметь в виду, что результаты, представленные в данном исследовании, применимы к общим методам извлечения тренда, используемым в качестве единственного этапа предварительной обработки. Воздействие детрендирования в сочетании с другими методами предварительной обработки может существенно отличаться.ЗаключениеВ данной статье был проведен экспериментальный анализ влияния нескольких подходов детрендирования временных рядов на результаты применения моделей CI к этим временным рядам.Целью исследования было сравнить несколько алгоритмов детрендирования с точки зрения эффективности предсказательных моделей для временных рядов. Были рассмотрены 3 подхода детрендирования: линейное, основанное на EMD (или нелинейное, нестационарное) и дифференцирование первого порядка. В исследовании использовались следующие предсказательные методы: DENFIS, GP, MLP, OPELM и SVM.На основе полученных результатов были сделаны выводы:качественно эффект детрендирования однороден для всех рассмотренных методов CI;в общем случае извлечение тренда не улучшает точность предсказательных моделей;нестационарный метод детрендирования обеспечивает лучшую производительность, чем линейное детрендирование, хотя в большинстве случаев разница незначительна;детрендирование с помощью метода дифференцирования первого порядка может отрицательно повлиять на результаты для временных рядов, которые показывают общие закономерности.Таким образом, можно сделать вывод, что все рассмотренные методы детрендирования, как и любые интеллектуальные технологии обработки данных мониторинга в процессе строительства и эксплуатации, следует применять с особой осторожностью. Также необходимо дальнейшее исследование, чтобы проанализировать влияние детрендирования и десезонализации в совокупности на эффективность предсказательных методов для временных рядов.