През последните години архитектурата на трансформатора се очертава като революционна сила в областта на машинното обучение, първоначално предназначена за задачи за обработка на естествен език. Възможностите му обаче се простират далеч отвъд текста и той показа голям потенциал в обработката на данните от серията във времето -. Като доставчик на трансформатори, аз съм развълнуван да проуча как тази мощна архитектура може да се приложи при анализа на сериите във времето и какви ползи носи на масата.
Разбиране на времето - данни от сериите
Данните от серията - Поредица от точки от данни, събрани през последователни точки във времето. Той е разпространен в различни области като финанси, метеорология, здравеопазване и индустриален мониторинг. Примерите включват цени на акциите, дневни показатели на температурата, жизненоважни признаци на пациента и сензорни данни от производственото оборудване. Ключовата характеристика на данните от сериите във времето е временният ред, при който всяка точка от данни е свързана с предишните и следващите точки. Тази последователна природа представлява уникални предизвикателства за анализ, като заснемане на дълги срочни зависимости, справяне със сезонността и извършване на точни прогнози.
Традиционни подходи спрямо трансформатора
Преди появата на трансформатора, традиционните методи за анализ на сериите от времеви серии включват авторегресивни интегрирани модели на движеща се средна (ARIMA), експоненциално изглаждане и повтарящи се невронни мрежи (RNN) като дълга краткосрочна памет (LSTM) и затворени повтарящи се единици (GRUS).
Моделите на ARIMA се основават на линейни предположения и са подходящи за стационарни данни от серията. Те разчитат на минали ценности, за да прогнозират бъдещите, но те се борят с не -линейни модели и дълги срочни зависимости. Експоненциалните методи за изглаждане присвояват експоненциално намаляващи тегла на минали наблюдения, което е ефективно за краткосрочно прогнозиране, но може да не улавя сложни тенденции.
RNN, особено LSTM и GRU, са проектирани да обработват последователни данни, като поддържат скрито състояние, което може да носи информация с течение на времето. Те обаче страдат от изчезващия проблем на градиента, което затруднява изучаването на дълги срочни зависимости. С увеличаването на дължината на последователността работата на RNN се разгражда значително.
За разлика от това, архитектурата на трансформатора, въведена в хартията „Вниманието е всичко, от което се нуждаете“ от Vaswani et al. През 2017 г. преодолява тези ограничения. Той използва механизъм за самостоятелно внимание, който му позволява да улавя връзки между всяка две позиции в последователност, независимо от тяхното разстояние. Това означава, че трансформаторът може ефективно да моделира дългосрочни зависимости във времето - данни от серията без изтичащия проблем с градиента.
Как трансформаторът обработва данните във времето - серии
Кодиране на серията „Време -
Първата стъпка в използването на трансформатор за данни от серията е да се кодира входната последователност. Всяка точка от данни във времето - обикновено се представя като вектор. След това към тези вектори се добавя позиционно кодиране, за да се предостави информация за реда на точките от данни в последователността. Това е от решаващо значение, тъй като трансформаторът, за разлика от RNN, обработва цялата последователност паралелно и няма присъщо усещане за позиция.
Позиционното кодиране може да бъде фиксирана функция на синус и косинус, както е описано в оригиналната трансформаторна хартия. Тези функции добавят уникален модел към всяка позиция в последователността, което позволява на модела да прави разлика между различни времеви стъпки.
Самостоятелен механизъм за внимание
Ядрото на трансформатора е механизмът за самообразие. Като се има предвид входна последователност от вектори, самостоятелното внимание изчислява претеглена сума от тези вектори, за да представя всяка позиция в последователността. Теглата се определят от сходството между векторите на заявката, ключа и стойността.
В контекста на данните от сериите във времето, механизмът за самостоятелно внимание позволява на модела да се съсредоточи върху различни части на последователността при правене на прогнози. Например, когато прогнозира следващата стойност в серията на цените на акциите, моделът може да обърне повече внимание на съответните исторически цени, като например цени от същия ден от седмицата или цените по време на подобна пазарна тенденция.
Механизмът за самостоятелно внимание може да бъде изразен, както следва:
[Внимание (q, k, v) = softmax (\ frac {qk^{t}} {\ sqrt {d_ {k}}}) v]
където (q) е матрицата на заявката, (k) е основната матрица, (v) е матрицата на стойността, а (d_ {k}) е измерението на ключовите вектори.
Мулти - вниманието на главата
За да заснеме различни видове взаимоотношения във времевата серия, трансформаторът използва много внимание на главата. Вместо един самостоятелен механизъм за внимание, паралелно се прилагат множество глави на вниманието. Всяка глава се фокусира върху различни аспекти на последователността и изходите на всички глави се свързват и след това линейно се трансформират.
Мулти - вниманието на главата позволява на модела да научи различни модели във времевите данни от серията. Например, една глава може да се съсредоточи върху краткосрочните тенденции, докато друга глава може да заснеме дълга срочна сезонност.
Декодер за прогнозиране
Във времева задача за прогнозиране на серията трансформаторът може да се използва по последователност - до - начин на последователност. Енкодерът обработва серията входни времена, а декодерът генерира прогнозираните стойности. Декодерът също използва механизми за самообразие и кръстосано внимание. Вниманието в декодера е маскирано, за да се гарантира, че моделът използва само минала информация, когато прави прогнози. Кръстосаното внимание позволява на декодера да присъства на изхода на енкодера, който съдържа информация за входната последователност.
Предимства на използването на трансформатор за данни от сериите от време -
Дълго - срочна моделиране на зависимост
Едно от най -значимите предимства на трансформатора е способността му да моделира дългосрочни зависимости във времето - данни. Използвайки механизма за самостоятелно внимание, моделът може да улови връзки между далечни точки от данни, което е от решаващо значение за точното прогнозиране на дългосрочните срокове.
Паралелна обработка
За разлика от RNN, които последователно последователности, трансформаторът може да обработва цялата последователност паралелно. Това води до по -бързо тренировки и времена на изводи, особено за дълги последователности.
Адаптивност към не -линейни модели
Трансформаторът е не -линеен модел, който може да се адаптира към сложни, не -линейни модели във времето - серия. Той може да се поучи от данните, без да прави силни предположения за основното разпределение, което го прави подходящ за широк спектър от приложения.
Приложения в различни индустрии
Финанси
Във финансовата индустрия данните от сериите във времето като цени на акциите, валутни курсове и лихвени проценти са от голямо значение. Трансформаторът може да се използва за прогнозиране на цените на акциите, оценка на риска и оптимизация на портфейла. Чрез улавяне на дългосрочни пазарни тенденции и не -линейни отношения, той може да осигури по -точни прогнози от традиционните методи.
Здравеопазване
В здравеопазването данните от сериите от време - включват жизненоважни признаци на пациента, резултати от медицински тестове и прогресиране на заболяването. Трансформаторът може да се използва за ранно откриване на заболявания, наблюдение на пациента и планиране на лечението. Например, той може да предвиди вероятността пациент да развие определено заболяване въз основа на техните исторически здравни данни.
Индустриален мониторинг
В индустриални настройки данните от сериите от серии от сензори върху производственото оборудване могат да се използват за прогнозна поддръжка. Трансформаторът може да анализира данните от сензора, за да открие аномалии и да прогнозира повреда на оборудването, преди да се появи, намалявайки разходите за престой и поддръжка.
Нашите трансформаторни продукти
Като доставчик на трансформатори ние предлагаме редица висококачествени трансформатори, подходящи за различни приложения. НашитеТри - фазово пренапрежение - устойчив трансформаторе проектиран да издържа на условията на пренапрежение, като гарантира надеждна работа в тежки среди. TheТри - фазов трансформатор на дистрибуция с висока ефективносте оптимизиран за енергийна ефективност, намаляване на загубите на енергия и спестяване на разходи. НашитеДълго - Life Oil - запълнен трансформатор на силата на мрежатае изграден за дългосрочна употреба в електропровода, осигурявайки стабилно захранване.
Свържете се с нас за покупка
Ако се интересувате да използвате нашите продукти за трансформатор за анализа на данните от сериите или други приложения, ние ви каним да се свържете с нас за подробна дискусия. Нашият екип от експерти може да ви помогне да изберете правилния трансформатор за вашите специфични нужди и да осигурите техническа поддръжка през целия процес.
ЛИТЕРАТУРА
Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, ... & Polosukhin, I. (2017). Вниманието е всичко, от което се нуждаете. Напредък в системите за обработка на неврална информация,
