Gradient Optimization Methods in Machine Learning for the Identification of Dynamic Systems Parameters
The article considers one of the possible ways to solve the problem of estimating the unknown parameters of dynamic models described by differential-algebraic equations. Parameters are estimated based on the results of observations of the behavior of the mathematical model. Their values are found as...
Gespeichert in:
| Veröffentlicht in: | Modelling and Data Analysis Jg. 9; H. 4; S. 88 - 99 |
|---|---|
| Hauptverfasser: | , |
| Format: | Journal Article |
| Sprache: | Englisch |
| Veröffentlicht: |
2019
|
| ISSN: | 2219-3758, 2311-9454 |
| Online-Zugang: | Volltext |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Abstract | The article considers one of the possible ways to solve the problem of estimating the unknown parameters of dynamic models described by differential-algebraic equations. Parameters are estimated based on the results of observations of the behavior of the mathematical model. Their values are found as a result of minimizing the criterion that describes the total quadratic deviation of the state vector coordinates from the exact values obtained at measurements at different points in time. The parallelepiped type constraints are imposed on the parameter values. To solve the optimization problem, it is proposed to use gradient optimization methods used in machine learning procedures: the stochastic gradient descent method, the classical moment method, the Nesterov accelerated gradient method, the adaptive gradient method, root mean square propagation method, the adaptive moment estimation method, the adaptive estimation method modification, Nesterov–accelerated adaptive moment estimation method. An example of identification of the parameters of a linear mathematical model describing a change in the characteristics of a chemical process is shown, which demonstrates the comparative effectiveness of the optimization methods of the selected group. The methods used to search for an extremum do not guarantee finding a result – a global extremum, but allow you to get a solution of good enough quality for an acceptable time. The results of calculations by all the listed optimization methods are presented. Recommendations on the selection of method parameters are given. The obtained numerical results demonstrated the effectiveness of the proposed approach. The found approximate values of the estimated parameters slightly differ from the best known solutions obtained by other methods.
В статье рассматривается один из возможных способов решения задачи оценки неизвестных параметров динамических моделей, описываемых дифференциально–алгебраическими уравнениями. Оценка параметров производится по результатам наблюдений за поведением математической модели. Их значения находятся в результате минимизации критерия, описывающего суммарное квадратическое отклонение значений координат вектора состояния от полученных при измерениях точных значений в различные моменты времени. На значения параметров наложены ограничения параллелепипедного типа. Для решения задачи оптимизации предлагается использовать градиентные методы оптимизации, используемые в процедурах машинного обучения: метод стохастического градиентного спуска, классический метод моментов, ускоренный градиентный метод Нестерова, метод адаптивного градиента, метод скользящего среднего, метод адаптивной оценки моментов, модификация метода адаптивной оценки, ускоренный по Нестерову метод адаптивной оценки. Приведен пример идентификации параметров линейной математической модели, описывающей изменение__ характеристик химического процесса, на котором продемонстрирована сравнительная эффективность методов оптимизации выбранной группы. Применяемые методы поиска экстремума не гарантируют нахождения результата – глобального экстремума, но позволяют получать решение достаточно хорошего качества за приемлемое время. Приведены результаты расчетов всеми перечисленными методами оптимизации, даны рекомендации по выбору параметров методов. Полученные численные результаты продемонстрировали эффективность предложенного подхода. Найденные приближенные значения оцениваемых параметров незначительно отличаются от лучших известных решений, полученных другими способами. |
|---|---|
| AbstractList | The article considers one of the possible ways to solve the problem of estimating the unknown parameters of dynamic models described by differential-algebraic equations. Parameters are estimated based on the results of observations of the behavior of the mathematical model. Their values are found as a result of minimizing the criterion that describes the total quadratic deviation of the state vector coordinates from the exact values obtained at measurements at different points in time. The parallelepiped type constraints are imposed on the parameter values. To solve the optimization problem, it is proposed to use gradient optimization methods used in machine learning procedures: the stochastic gradient descent method, the classical moment method, the Nesterov accelerated gradient method, the adaptive gradient method, root mean square propagation method, the adaptive moment estimation method, the adaptive estimation method modification, Nesterov–accelerated adaptive moment estimation method. An example of identification of the parameters of a linear mathematical model describing a change in the characteristics of a chemical process is shown, which demonstrates the comparative effectiveness of the optimization methods of the selected group. The methods used to search for an extremum do not guarantee finding a result – a global extremum, but allow you to get a solution of good enough quality for an acceptable time. The results of calculations by all the listed optimization methods are presented. Recommendations on the selection of method parameters are given. The obtained numerical results demonstrated the effectiveness of the proposed approach. The found approximate values of the estimated parameters slightly differ from the best known solutions obtained by other methods.
В статье рассматривается один из возможных способов решения задачи оценки неизвестных параметров динамических моделей, описываемых дифференциально–алгебраическими уравнениями. Оценка параметров производится по результатам наблюдений за поведением математической модели. Их значения находятся в результате минимизации критерия, описывающего суммарное квадратическое отклонение значений координат вектора состояния от полученных при измерениях точных значений в различные моменты времени. На значения параметров наложены ограничения параллелепипедного типа. Для решения задачи оптимизации предлагается использовать градиентные методы оптимизации, используемые в процедурах машинного обучения: метод стохастического градиентного спуска, классический метод моментов, ускоренный градиентный метод Нестерова, метод адаптивного градиента, метод скользящего среднего, метод адаптивной оценки моментов, модификация метода адаптивной оценки, ускоренный по Нестерову метод адаптивной оценки. Приведен пример идентификации параметров линейной математической модели, описывающей изменение__ характеристик химического процесса, на котором продемонстрирована сравнительная эффективность методов оптимизации выбранной группы. Применяемые методы поиска экстремума не гарантируют нахождения результата – глобального экстремума, но позволяют получать решение достаточно хорошего качества за приемлемое время. Приведены результаты расчетов всеми перечисленными методами оптимизации, даны рекомендации по выбору параметров методов. Полученные численные результаты продемонстрировали эффективность предложенного подхода. Найденные приближенные значения оцениваемых параметров незначительно отличаются от лучших известных решений, полученных другими способами. |
| Author | Lobanov, A.V. Panteleev, A.V. |
| Author_xml | – sequence: 1 givenname: A.V. orcidid: 0000-0003-2493-3617 surname: Panteleev fullname: Panteleev, A.V. organization: Moscow Aviation Institute (National Research University) – sequence: 2 givenname: A.V. surname: Lobanov fullname: Lobanov, A.V. organization: Technology and Applied Mathematics of Moscow Aviation Institute (National Research University) |
| BookMark | eNpFkLFOwzAURS1UJErpzOofSGvHcW2PqECpFFQkukdO_B61RJzK9hK-nogidbp3uOcO557MwhCAkEfOVlwpada9s6uSccMMq5i6IfNScF6YSlazqZfcFEJJfUeWKfmWbaahNErPCe6idR5Cpodz9r3_sdkPgb5DPg0uUT9V2518AFqDjcGHL4pDpPkEdO8mzKPvLsiA9HkMtvcd_RxThj7RDxttDxlieiC3aL8TLP9zQY6vL8ftW1EfdvvtU110mqtClxVIXhrtAFuFhjkQTjsBAEqXnUHNUTrQUrbOqA2ANigQ-bQBDRWKBVlfbrs4pBQBm3P0vY1jw1nzJ6qZRDVXUeIXD2NgdA |
| Cites_doi | 10.1007/978-1-4757-3040-1 10.1021/ie00050a015 10.12737/3297 |
| ContentType | Journal Article |
| DBID | AAYXX CITATION |
| DOI | 10.17759/mda.2019090407 |
| DatabaseName | CrossRef |
| DatabaseTitle | CrossRef |
| DatabaseTitleList | CrossRef |
| DeliveryMethod | fulltext_linktorsrc |
| EISSN | 2311-9454 |
| EndPage | 99 |
| ExternalDocumentID | 10_17759_mda_2019090407 |
| GroupedDBID | AAYXX CITATION |
| ID | FETCH-LOGICAL-c817-824e51298defb7f90de3d8d3eee782c9f81f5de855bd976ee89f3ff1d8de8e4f3 |
| ISSN | 2219-3758 |
| IngestDate | Sat Nov 29 03:59:47 EST 2025 |
| IsDoiOpenAccess | false |
| IsOpenAccess | true |
| IsPeerReviewed | true |
| IsScholarly | true |
| Issue | 4 |
| Language | English |
| License | https://creativecommons.org/licenses/by-nc/4.0 |
| LinkModel | OpenURL |
| MergedId | FETCHMERGED-LOGICAL-c817-824e51298defb7f90de3d8d3eee782c9f81f5de855bd976ee89f3ff1d8de8e4f3 |
| ORCID | 0000-0003-2493-3617 |
| OpenAccessLink | https://psyjournals.ru/files/111774/mda_2019_n4_Panteleev_Lobanov.pdf |
| PageCount | 12 |
| ParticipantIDs | crossref_primary_10_17759_mda_2019090407 |
| PublicationCentury | 2000 |
| PublicationDate | 2019-00-00 |
| PublicationDateYYYYMMDD | 2019-01-01 |
| PublicationDate_xml | – year: 2019 text: 2019-00-00 |
| PublicationDecade | 2010 |
| PublicationTitle | Modelling and Data Analysis |
| PublicationYear | 2019 |
| References | 1 2 3 4 5 6 7 |
| References_xml | – ident: 2 – ident: 3 – ident: 6 doi: 10.1007/978-1-4757-3040-1 – ident: 7 doi: 10.1021/ie00050a015 – ident: 1 doi: 10.12737/3297 – ident: 5 – ident: 4 |
| SSID | ssib061905978 |
| Score | 2.0515196 |
| Snippet | The article considers one of the possible ways to solve the problem of estimating the unknown parameters of dynamic models described by differential-algebraic... |
| SourceID | crossref |
| SourceType | Index Database |
| StartPage | 88 |
| Title | Gradient Optimization Methods in Machine Learning for the Identification of Dynamic Systems Parameters |
| Volume | 9 |
| hasFullText | 1 |
| inHoldings | 1 |
| isFullTextHit | |
| isPrint | |
| journalDatabaseRights | – providerCode: PRVHPJ databaseName: ROAD: Directory of Open Access Scholarly Resources customDbUrl: eissn: 2311-9454 dateEnd: 99991231 omitProxy: false ssIdentifier: ssib061905978 issn: 2219-3758 databaseCode: M~E dateStart: 20110101 isFulltext: true titleUrlDefault: https://road.issn.org providerName: ISSN International Centre |
| link | http://cvtisr.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwtV07T8MwELZ4DSwIBIi3PDAgoZSmSRp7RFBgoIWhQt2qPM6oQ1NUAmLit3PnR5qCkMrAEqWn9NT0Pn3-bJ_vGDuVQZaLpN30UlQbtFolPRElsSeTMEqydhJkusfS033c64nBQD7aNd1X3U4gLgrx8SFf_jXUaMNg09HZP4S7cooGvMeg4xXDjteFAn871Vlc5fkDssHYHrM87-pO0Tr5tavzJ8GVVn2uMg3NoV1lV_FIRl6bfvWurjnqTcrlKm3WvBO11E_NlPbWec1JmVS1TmY7VHRcBfBdiIsaT40qEQj5pJjMm-0ihCU5zVItpDxkKVN_vQHGFvi-J0NTHdrRrKyhKaxRphC1wdc0S_pB63EcUVnUcU6VolDCSKSeeDaCuV37bwNblW5IEx1yMUQHw5mDZbbaQitN2bufHcdCOKNEyamH8OrdbE0o8nEx_yNqcqamS_qbbMNOKPilAcIWW4JimykHAl4HAbcg4CO8NSDgDgQcQcARBHweBHyiuAUBtyDgMxDssP5Np39159mOGl4mSI20QiCBJ3JQaaxkM4cgF3kAACgUM6mEr6IcRBSlOcpUACFVoJSPz4CAUAW7bKWYFLDHuI_f8FO_TdvSVNRR4ECFLttBq5n6KoV9dub-l-GLqZsy_CUMB4s_esjW6YNZAjtiK-X0DY7ZWvZejl6nJzqMX4HDZrI |
| linkProvider | ISSN International Centre |
| openUrl | ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=Gradient+Optimization+Methods+in+Machine+Learning+for+the+Identification+of+Dynamic+Systems+Parameters&rft.jtitle=Modelling+and+Data+Analysis&rft.au=Panteleev%2C+A.V.&rft.au=Lobanov%2C+A.V.&rft.date=2019&rft.issn=2219-3758&rft.eissn=2311-9454&rft.volume=9&rft.issue=4&rft.spage=88&rft.epage=99&rft_id=info:doi/10.17759%2Fmda.2019090407&rft.externalDBID=n%2Fa&rft.externalDocID=10_17759_mda_2019090407 |
| thumbnail_l | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/lc.gif&issn=2219-3758&client=summon |
| thumbnail_m | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/mc.gif&issn=2219-3758&client=summon |
| thumbnail_s | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/sc.gif&issn=2219-3758&client=summon |