Methodological challenges of outlier detection in metrology using machine learning models
Uloženo v:
| Název: | Methodological challenges of outlier detection in metrology using machine learning models |
|---|---|
| Zdroj: | Ukrainian Metrological Journal; No. 3 (2025); 43-48 Украинский метрологический журнал / Ukrainian Metrological Journal; № 3 (2025); 43-48 Український метрологічний журнал / Ukrainian Metrological Journal; № 3 (2025); 43-48 |
| Informace o vydavateli: | National Scientific Centre "Institute of Metrology", 2025. |
| Rok vydání: | 2025 |
| Témata: | metrology, standard uncertainty, machine learning, outliers, anomalies, measurement data processing, метрологія, стандартна невизначеність, машинне навчання, викиди, аномалії, обробка результатів вимірювань |
| Popis: | The paper addresses the challenges associated with applying machine learning models to detect outliers in metrological datasets. While such models ensure the possibility to identify complex deviations in the structure of a sample without relying on prior statistical assumptions, they do not provide normatively justified criteria for assessing the reliability of their decisions. Specifically, such models lack interpretable confidence indicators, metrological traceability, and formalised thresholds to determine whether an outlier is genuine. One proposed solution involves assessing the impact of eliminated anomalous values detected by the Isolation Forest model on the standard measurement uncertainty of Type A when the initial sample size is preserved through repeated measurements. This approach was validated using real-life measurements of liquid flow performed with Coriolis flowmeters of various diameters. The results empirically proved the effectiveness of the method in cases where the elimination of distortion-inducing values led to a significant reduction in measurement variability. However, several limitations were also identified, including the sensitivity of models to small sample sizes, the impracticality of performing repeated measurements in many real-life scenarios, and the lack of an objective threshold to determine the “significance” of uncertainty reduction. These findings highlight the need for further study of the formalization of confidence criteria in anomaly detection within the metrological domain, particularly in the context of compliance with international standards such as ISO/IEC17025. Despite these limitations, the application of machine learning models opens new opportunities for automating the analysis of metrological data and highlights the need to develop harmonized approaches for integrating such solutions into the regulatory framework. У статті розглядаються проблеми, пов’язані із застосуванням моделей машинного навчання для виявлення викидів у метрологічних вибірках. Попри здатність таких моделей ідентифікувати складні відхилення у структурі вибірки без необхідності попередніх статистичних припущень, вони не забезпечують нормативно обґрунтованих критеріїв оцінки достовірності прийнятих рішень. Зокрема, відсутні інтерпретовані показники довіри, метрологічна простежуваність і формалізовані порогові значення, які б дозволяли однозначно визначити, чи є те чи інше значення справжнім викидом. Одним із запропонованих рішень є оцінка впливу виключення аномальних значень, виявлених за допомогою моделі Isolation Forest, на стандартну невизначеність типу А за умови збереження початкового обсягу вибірки шляхом повторних вимірювань. Такий підхід було апробовано на основі реальних результатів вимірювань витрати рідини з використанням коріолісових витратомірів різних діаметрів. Отримані результати підтвердили ефективність підходу в тих випадках, коли видалення значень, що спотворювали результат, призводило до суттєвого зменшення варіативності вимірювань. Водночас було виявлено низку обмежень, зокрема чутливість моделі до малих вибірок, практичну неможливість проведення повторних вимірювань у багатьох реальних ситуаціях і відсутність об’єктивного критерію, який би визначав “суттєвість” зменшення невизначеності. Зазначені результати підкреслюють необхідність подальших досліджень щодо формалізації критеріїв довіри при виявленні аномалій у метрології, особливо в контексті відповідності міжнародним стандартам, таким як ISO/IEC17025. Попри зазначені обмеження, застосування моделей машинного навчання відкриває нові можливості для автоматизації аналізу метрологічних даних і вказує на потребу у створенні узгоджених підходів до інтеграції таких рішень у нормативне середовище. |
| Druh dokumentu: | Article |
| Popis souboru: | application/pdf |
| Jazyk: | English |
| ISSN: | 2306-7039 2522-1345 |
| Přístupová URL adresa: | http://umj.metrology.kharkov.ua/article/view/340615 |
| Přístupové číslo: | edsair.scientific.p..b49231d2071856ece40d4d56bcca6c3c |
| Databáze: | OpenAIRE |
Nájsť tento článok vo Web of Science | Abstrakt: | The paper addresses the challenges associated with applying machine learning models to detect outliers in metrological datasets. While such models ensure the possibility to identify complex deviations in the structure of a sample without relying on prior statistical assumptions, they do not provide normatively justified criteria for assessing the reliability of their decisions. Specifically, such models lack interpretable confidence indicators, metrological traceability, and formalised thresholds to determine whether an outlier is genuine. One proposed solution involves assessing the impact of eliminated anomalous values detected by the Isolation Forest model on the standard measurement uncertainty of Type A when the initial sample size is preserved through repeated measurements. This approach was validated using real-life measurements of liquid flow performed with Coriolis flowmeters of various diameters. The results empirically proved the effectiveness of the method in cases where the elimination of distortion-inducing values led to a significant reduction in measurement variability. However, several limitations were also identified, including the sensitivity of models to small sample sizes, the impracticality of performing repeated measurements in many real-life scenarios, and the lack of an objective threshold to determine the “significance” of uncertainty reduction. These findings highlight the need for further study of the formalization of confidence criteria in anomaly detection within the metrological domain, particularly in the context of compliance with international standards such as ISO/IEC17025. Despite these limitations, the application of machine learning models opens new opportunities for automating the analysis of metrological data and highlights the need to develop harmonized approaches for integrating such solutions into the regulatory framework.<br />У статті розглядаються проблеми, пов’язані із застосуванням моделей машинного навчання для виявлення викидів у метрологічних вибірках. Попри здатність таких моделей ідентифікувати складні відхилення у структурі вибірки без необхідності попередніх статистичних припущень, вони не забезпечують нормативно обґрунтованих критеріїв оцінки достовірності прийнятих рішень. Зокрема, відсутні інтерпретовані показники довіри, метрологічна простежуваність і формалізовані порогові значення, які б дозволяли однозначно визначити, чи є те чи інше значення справжнім викидом. Одним із запропонованих рішень є оцінка впливу виключення аномальних значень, виявлених за допомогою моделі Isolation Forest, на стандартну невизначеність типу А за умови збереження початкового обсягу вибірки шляхом повторних вимірювань. Такий підхід було апробовано на основі реальних результатів вимірювань витрати рідини з використанням коріолісових витратомірів різних діаметрів. Отримані результати підтвердили ефективність підходу в тих випадках, коли видалення значень, що спотворювали результат, призводило до суттєвого зменшення варіативності вимірювань. Водночас було виявлено низку обмежень, зокрема чутливість моделі до малих вибірок, практичну неможливість проведення повторних вимірювань у багатьох реальних ситуаціях і відсутність об’єктивного критерію, який би визначав “суттєвість” зменшення невизначеності. Зазначені результати підкреслюють необхідність подальших досліджень щодо формалізації критеріїв довіри при виявленні аномалій у метрології, особливо в контексті відповідності міжнародним стандартам, таким як ISO/IEC17025. Попри зазначені обмеження, застосування моделей машинного навчання відкриває нові можливості для автоматизації аналізу метрологічних даних і вказує на потребу у створенні узгоджених підходів до інтеграції таких рішень у нормативне середовище. |
|---|---|
| ISSN: | 23067039 25221345 |