AI-driven tools in modern software quality assurance: an assessment of benefits, challenges, and future directions
Traditional quality assurance (QA) methods face significant challenges in addressing the complexity, scale, and rapid iteration cycles of modern software systems and are strained by limited resources available, leading to substantial costs associated with poor quality. The object of this research is...
Gespeichert in:
| Veröffentlicht in: | Technology audit and production reserves (Online) Jg. 3; H. 2(83); S. 44 - 54 |
|---|---|
| Hauptverfasser: | , , |
| Format: | Journal Article |
| Sprache: | Englisch |
| Veröffentlicht: |
26.05.2025
|
| ISSN: | 2664-9969, 2706-5448 |
| Online-Zugang: | Volltext |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Abstract | Traditional quality assurance (QA) methods face significant challenges in addressing the complexity, scale, and rapid iteration cycles of modern software systems and are strained by limited resources available, leading to substantial costs associated with poor quality. The object of this research is the quality assurance processes for modern distributed software applications. The subject of the research is the assessment of the benefits, challenges, and prospects of integrating modern AI-oriented tools into quality assurance processes. Comprehensive analysis of implications was performed on both verification and validation processes covering exploratory test analyses, equivalence partitioning and boundary analyses, metamorphic testing, finding inconsistencies in acceptance criteria (AC), static analyses, test case generation, unit test generation, test suit optimization and assessment, end to end scenario execution. End to end regression of sample enterprise application utilizing AI-agents over generated test scenarios was implemented as a proof of concept highlighting practical use of the study. The results, with only 8.3% flaky executions of generated test cases, indicate significant potential for the proposed approaches. However, the study also identified substantial challenges for practical adoption concerning generation of semantically identical coverage, “black box” nature and lack of explainability from state-of-the-art Large Language Models (LLMs), the tendency to correct mutated test cases to match expected results, underscoring the necessity for thorough verification of both generated artifacts and test execution results. The research demonstrates AI's transformative potential for QA but highlights the importance of a strategic approach to implementing these technologies, considering the identified limitations and the need for developing appropriate verification methodologies.
Традиційні методи забезпечення якості програмного забезпечення (QA) зіштовхнулися зі значними викликами у звʼязку зі складністю, обсягом та частотою випусків програмних систем, що в умовах обмежених ресурсів призводить до значних витрат, обумовлених їх незадовільною якістю. Об’єктом даного дослідження є процеси забезпечення якості сучасних розподілених застосунків. Предметом дослідження є оцінка переваг, викликів і напрямків розвитку впровадження інструментів на основі штучного інтелекту (ШІ) на процеси забезпечення якості. Проведено аналіз застосування ШІ для ключових завдань верифікації та валідації, зокрема використання великих мовних моделей (ВММ) для дослідницького тестування, виділення класів еквівалентності, граничного аналізу, метаморфного тестування, пошуку суперечностей у критеріях приймання, статичного аналізу, генерації тест-кейсів та юніт-тестів, виконання наскрізної регресії. Для демонстрації практичного застосування було проведено регресійне тестування типового корпоративного веб-застосунку з допомогою ШІ-агентів. Отримані результати, зокрема лише 8,3% нестабільних виконань згенерованих тест-кейсів, свідчать про значний потенціал запропонованих підходів. Водночас дослідження виявило суттєві виклики для практичного впровадження, що стосуються надійності, пояснюваності ШІ-систем та ризику отримання хибнонегативних результатів, пов’язаних зі схильністю ВММ до автокорекції результатів, що підкреслює необхідність ретельної верифікації як згенерованих артефактів, так і результатів виконання тестів. Дослідження демонструє трансформаційний потенціал ШІ для сфери забезпечення якості, однак наголошує на важливості стратегічного підходу до впровадження цих технологій, що має враховувати виявлені обмеження та потребу в розвитку відповідних методологій верифікації. |
|---|---|
| AbstractList | Traditional quality assurance (QA) methods face significant challenges in addressing the complexity, scale, and rapid iteration cycles of modern software systems and are strained by limited resources available, leading to substantial costs associated with poor quality. The object of this research is the quality assurance processes for modern distributed software applications. The subject of the research is the assessment of the benefits, challenges, and prospects of integrating modern AI-oriented tools into quality assurance processes. Comprehensive analysis of implications was performed on both verification and validation processes covering exploratory test analyses, equivalence partitioning and boundary analyses, metamorphic testing, finding inconsistencies in acceptance criteria (AC), static analyses, test case generation, unit test generation, test suit optimization and assessment, end to end scenario execution. End to end regression of sample enterprise application utilizing AI-agents over generated test scenarios was implemented as a proof of concept highlighting practical use of the study. The results, with only 8.3% flaky executions of generated test cases, indicate significant potential for the proposed approaches. However, the study also identified substantial challenges for practical adoption concerning generation of semantically identical coverage, “black box” nature and lack of explainability from state-of-the-art Large Language Models (LLMs), the tendency to correct mutated test cases to match expected results, underscoring the necessity for thorough verification of both generated artifacts and test execution results. The research demonstrates AI's transformative potential for QA but highlights the importance of a strategic approach to implementing these technologies, considering the identified limitations and the need for developing appropriate verification methodologies.
Традиційні методи забезпечення якості програмного забезпечення (QA) зіштовхнулися зі значними викликами у звʼязку зі складністю, обсягом та частотою випусків програмних систем, що в умовах обмежених ресурсів призводить до значних витрат, обумовлених їх незадовільною якістю. Об’єктом даного дослідження є процеси забезпечення якості сучасних розподілених застосунків. Предметом дослідження є оцінка переваг, викликів і напрямків розвитку впровадження інструментів на основі штучного інтелекту (ШІ) на процеси забезпечення якості. Проведено аналіз застосування ШІ для ключових завдань верифікації та валідації, зокрема використання великих мовних моделей (ВММ) для дослідницького тестування, виділення класів еквівалентності, граничного аналізу, метаморфного тестування, пошуку суперечностей у критеріях приймання, статичного аналізу, генерації тест-кейсів та юніт-тестів, виконання наскрізної регресії. Для демонстрації практичного застосування було проведено регресійне тестування типового корпоративного веб-застосунку з допомогою ШІ-агентів. Отримані результати, зокрема лише 8,3% нестабільних виконань згенерованих тест-кейсів, свідчать про значний потенціал запропонованих підходів. Водночас дослідження виявило суттєві виклики для практичного впровадження, що стосуються надійності, пояснюваності ШІ-систем та ризику отримання хибнонегативних результатів, пов’язаних зі схильністю ВММ до автокорекції результатів, що підкреслює необхідність ретельної верифікації як згенерованих артефактів, так і результатів виконання тестів. Дослідження демонструє трансформаційний потенціал ШІ для сфери забезпечення якості, однак наголошує на важливості стратегічного підходу до впровадження цих технологій, що має враховувати виявлені обмеження та потребу в розвитку відповідних методологій верифікації. |
| Author | Kyslyi, Roman Pysmennyi, Ihor Kleshch, Kyrylo |
| Author_xml | – sequence: 1 givenname: Ihor orcidid: 0000-0001-7648-2593 surname: Pysmennyi fullname: Pysmennyi, Ihor – sequence: 2 givenname: Roman orcidid: 0000-0002-8290-9917 surname: Kyslyi fullname: Kyslyi, Roman – sequence: 3 givenname: Kyrylo orcidid: 0009-0006-8133-3086 surname: Kleshch fullname: Kleshch, Kyrylo |
| BookMark | eNo9kN1OAyEUhImpibX2FQwP4FYWFli8axp_mjTxpveEsgfFbEGB1fTt3VXj1cycnEwy3yWahRgAoeuarGrOW3lLJREVb5p2RQnlK8YIV_wMzf_vs9EL0VRKCXWBljm_ETJ-1owzMUdpva265D8h4BJjn7EP-Bg7SAHn6MqXSYA_BtP7csIm5yGZYOEOmzAlyPkIoeDo8AECOF_yDbavpu8hvMDoTeiwG8owlnQ-gS0-hnyFzp3pMyz_dIH2D_f7zVO1e37cbta7yirOq5qwFpQBaQWnrW0PDXGuI8y1fBxCuFBOKtG0Th4EleMeZZjswDljqLKSsgUSv7U2xZwTOP2e_NGkk66J_mGnJ0Z6YqQndvqXHfsGiyRlHg |
| ContentType | Journal Article |
| DBID | AAYXX CITATION |
| DOI | 10.15587/2706-5448.2025.330595 |
| DatabaseName | CrossRef |
| DatabaseTitle | CrossRef |
| DatabaseTitleList | CrossRef |
| DeliveryMethod | fulltext_linktorsrc |
| Discipline | Engineering |
| EISSN | 2706-5448 |
| EndPage | 54 |
| ExternalDocumentID | 10_15587_2706_5448_2025_330595 |
| GroupedDBID | AAYXX ABDBF ACUHS ALMA_UNASSIGNED_HOLDINGS CITATION EOJEC OBODZ |
| ID | FETCH-LOGICAL-c955-1038e9ae7c6528c8b40ffd03f859690569f79648f7b6272519a37deffaa29c723 |
| ISSN | 2664-9969 |
| IngestDate | Sat Nov 29 07:51:05 EST 2025 |
| IsDoiOpenAccess | false |
| IsOpenAccess | true |
| IsPeerReviewed | true |
| IsScholarly | true |
| Issue | 2(83) |
| Language | English |
| License | http://creativecommons.org/licenses/by/4.0 |
| LinkModel | OpenURL |
| MergedId | FETCHMERGED-LOGICAL-c955-1038e9ae7c6528c8b40ffd03f859690569f79648f7b6272519a37deffaa29c723 |
| ORCID | 0009-0006-8133-3086 0000-0002-8290-9917 0000-0001-7648-2593 |
| OpenAccessLink | https://doi.org/10.15587/2706-5448.2025.330595 |
| PageCount | 11 |
| ParticipantIDs | crossref_primary_10_15587_2706_5448_2025_330595 |
| PublicationCentury | 2000 |
| PublicationDate | 2025-05-26 |
| PublicationDateYYYYMMDD | 2025-05-26 |
| PublicationDate_xml | – month: 05 year: 2025 text: 2025-05-26 day: 26 |
| PublicationDecade | 2020 |
| PublicationTitle | Technology audit and production reserves (Online) |
| PublicationYear | 2025 |
| SSID | ssj0002513536 ssib050739214 |
| Score | 2.292986 |
| Snippet | Traditional quality assurance (QA) methods face significant challenges in addressing the complexity, scale, and rapid iteration cycles of modern software... |
| SourceID | crossref |
| SourceType | Index Database |
| StartPage | 44 |
| Title | AI-driven tools in modern software quality assurance: an assessment of benefits, challenges, and future directions |
| Volume | 3 |
| hasFullText | 1 |
| inHoldings | 1 |
| isFullTextHit | |
| isPrint | |
| journalDatabaseRights | – providerCode: PRVHPJ databaseName: ROAD: Directory of Open Access Scholarly Resources customDbUrl: eissn: 2706-5448 dateEnd: 99991231 omitProxy: false ssIdentifier: ssib050739214 issn: 2664-9969 databaseCode: M~E dateStart: 20180101 isFulltext: true titleUrlDefault: https://road.issn.org providerName: ISSN International Centre |
| link | http://cvtisr.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwtV1Lb9QwELaWwgEOiKd4ywc4bdOmSRw73CrUimqhQmiFeosSx1ZXSpMq2W6bS_8l_4eZTF48hOiBSxRZyayV-fbz-DHfMPZWJiaFYRYVLn3rBMK6ThrsZY5NtGuMG6qozVv79kkeH6uTk-jLbPa9z4XZ5LIo1NVVdP5fXQ1t4GxMnb2Buwej0AD34HS4gtvh-k-O3z9ysgo5DMLKMm-Pu55RwbMaKPcST3pRJmUzh8D5AgtrtPnp8EdPBplOjCFToEG7WreO1n3Nlbo_7kliJHMaEodFvy7MHRfs5wmmfXRyBK24LOINc56qDa34TsVOiaUb7ELRtOcMjk7L4fjwoqlzav1ano2oXuSmPqWKVoumavJyupLhCdyEp3R5IjyIFQIH5l_0e4bapBs6IiA1zp6x_QkwvXdYL7nvJLEwKUp24zlpVP82UgiBiy2Hg_0d7NGOD_RHRT9_lub-ZcgcDjLiFAotxWgnRjsx2onJzi1225MiQrL9fH3Q05zAzVGv27zGgAFCTF-0xSyHL9DlsqPp3T92cRJGTeKh5QN2v5vI8H0C4EM2M8Ujdm8ib_mYVQMUeQtFvio4QZH3UOQdFPkAxfc8KfgIRF5a3gNxm48w3IbHMk4g5CMIn7Dl4cHyw0enq_Hh6Ei0DKFMlBipQ-EprdLAtTYD2lACvgIE55HFXGllZRp6ErOsE19mxtok8SItPf8p2yrKwjxjPIm0DWG6o-C5IPIzpYWG96Wrpa9SoZ-z3f6Lxeek5BL_3X0vbvzGS3Z3BPYrtrWuLsxrdkdv1qu6etOi4AfKw5Pz |
| linkProvider | ISSN International Centre |
| openUrl | ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=AI-driven+tools+in+modern+software+quality+assurance%3A+an+assessment+of+benefits%2C+challenges%2C+and+future+directions&rft.jtitle=Technology+audit+and+production+reserves+%28Online%29&rft.au=Pysmennyi%2C+Ihor&rft.au=Kyslyi%2C+Roman&rft.au=Kleshch%2C+Kyrylo&rft.date=2025-05-26&rft.issn=2664-9969&rft.eissn=2706-5448&rft.volume=3&rft.issue=2%2883%29&rft.spage=44&rft.epage=54&rft_id=info:doi/10.15587%2F2706-5448.2025.330595&rft.externalDBID=n%2Fa&rft.externalDocID=10_15587_2706_5448_2025_330595 |
| thumbnail_l | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/lc.gif&issn=2664-9969&client=summon |
| thumbnail_m | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/mc.gif&issn=2664-9969&client=summon |
| thumbnail_s | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/sc.gif&issn=2664-9969&client=summon |