Verification and validation solutions for the safety compliance of autonomous driving frameworks performance aspects
Uloženo v:
| Název: | Verification and validation solutions for the safety compliance of autonomous driving frameworks performance aspects |
|---|---|
| Autoři: | Alcón Doganoc, Miguel |
| Přispěvatelé: | University/Department: Universitat Politècnica de Catalunya. Departament d'Arquitectura de Computadors |
| Thesis Advisors: | Abella Ferrer, Jaume, Mezzetti, Enrico |
| Zdroj: | TDX (Tesis Doctorals en Xarxa) |
| Informace o vydavateli: | Universitat Politècnica de Catalunya, 2026. |
| Rok vydání: | 2026 |
| Fyzický popis: | 127 p. |
| Témata: | Real time, Critical real-time embedded systems, Safety-critical systems, Autonomous Driving, Verification, Validation, Testing, ISO 26262, Artificial Intelligence, Àrees temàtiques de la UPC::Informàtica, Àrees temàtiques de la UPC::Enginyeria mecànica, 004 - Informàtica, 629 - Enginyeria dels vehicles de transport |
| Popis: | (English) Autonomous Driving (AD) has rapidly evolved from a research concept into an industrial reality. The increasing computational demands of autonomous vehicles have motivated the use of high-performance Multi-Processor Systems-on-Chip (MPSoCs), which offer both performance and energy efficiency. However, ensuring the safety compliance of such complex systems remains a major challenge. The software frameworks used to implement AD functionalities—typically integrating Artificial Intelligence (AI) algorithms—are not designed following a safety-driven development processes, and their non-deterministic behavior conflicts with the strict determinism required by safety standards. This thesis addresses these challenges by developing Verification and Validation (V&V) solutions that improve the safety compliance of AD frameworks, with a particular focus on performance-related aspects. The thesis begins by analyzing the main sources of non-determinism in AD systems across three layers: algorithmic, software architectural, and hardware platform. While variability exists in all layers, the software architecture layer is identified as a key contributor to the overall unpredictability. It not only introduces its own sources of variability but also amplifies those inherited from the other layers. This makes software architecture an effective focal point to improve system determinism and safety assurance. At the foundational level, the thesis addresses the challenge of unit testing within already-integrated AD frameworks, using the open-source Apollo AD framework as a case study. Due to tight coupling and data dependencies among its modules, Apollo does not easily support independent module validation. To enable proper verification of software units, the thesis proposes a systematic methodology to isolate, modify, and reconfigure Apollo modules into standalone, testable units, thus reintroducing unit-level testing capabilities into a complex, AI-based AD framework. The work advances toward system-level safety assurance through the development of dynamic and execution views of Apollo. Dynamic views describe the interactions among software components, linking safety requirements with their implementation and validation tests. However, these views alone fail to capture the concurrent behavior and execution parallelism of the system, which are crucial for verifying performance-related safety requirements. To fill this gap, the thesis introduces execution views, which complements dynamic views by integrating runtime information gathered from execution tracing on MPSoC platforms. Execution views enhance the observability of resource usage, timing behavior, and concurrency, allowing both improved testing and optimized hardware utilization—key aspects for reducing cost and ensuring safety. Finally, the thesis addresses the timing behavior and variability across software components. It identifies, formalizes, and applies a comprehensive set of timing-related metrics capable of capturing inter-module interactions and end-to-end latency properties in AD applications. Traditional timing metrics, such as worst-case execution and response times, fail to capture the interdependencies between components in systems like Apollo. By adopting complementary metrics such as maximum reaction time and maximum time displacement, the proposed approach provides deeper insights into timing dependencies, enabling early detection of timing anomalies and improving validation confidence. Overall, this thesis provides a set of methodologies and tools to improve the V&V of AD software from a safety-performance perspective. The proposed contributions bridge the gap between high-performance AI-based software and the stringent determinism required by safety standards. These advances support the systematic assurance of safety in AD frameworks, ultimately contributing to the reliable and certifiable deployment of autonomous vehicles on high-performance embedded platforms. |
| Description (Translated): | (Català) La Conducció Autònoma (CA) ha passat de ser un concepte de recerca a convertir-se en una realitat. Les creixents demandes computacionals dels vehicles autònoms han motivat l'ús de sistemes multiprocessador en xip, que ofereixen tant un alt rendiment com una gran eficiència energètica. Tot i això, garantir el compliment dels requisits de seguretat en sistemes tan complexos continua sent un gran repte. Els marcs de programari utilitzats per implementar les funcionalitats de CA, que sovint integren algoritmes d'Intel·ligència Artificial (IA), no es dissenyen seguint processos de desenvolupament orientats a la seguretat, i el seu comportament no determinista entra en conflicte amb el determinisme exigit pels estàndards de seguretat. Aquesta tesi aborda aquests reptes mitjançant el desenvolupament de solucions de Verificació i Validació (ViV) orientades a millorar el compliment dels requisits de seguretat en marcs de CA, amb un enfocament centrat en el rendiment. La tesi comença analitzant les principals fonts no deterministes en els sistemes de CA en tres nivells: algorísmic, arquitectura del programari i plataforma del maquinari. Tot i que la variabilitat és present en tots ells, identifiquem el nivell d'arquitectura del programari com un contribuent clau a la variabilitat global. Aquest nivell no només introdueix les seves pròpies fonts de variabilitat, sinó que també amplifica aquelles heretades de les altres capes. Per això, l'arquitectura del programari es presenta com un punt clau per millorar el determinisme del sistema i la garantia de seguretat. La tesi també aborda els reptes que aquest programari presenta en les proves unitàries definides als estàndards de seguretat. Per fer-ho, s'utilitza Apollo, un programari de CA de codi obert. A causa de les fortes dependències entre els seus mòduls, no és fàcil validar de manera independent cada mòdul. Per permetre una verificació adequada, la tesi proposa una metodologia per aïllar i reconfigurar els mòduls d'Apollo en unitats independents, cosa que permet dur a terme proves unitàries en un programari de CA complex. El treball avança per garantir la seguretat del sistema mitjançant el desenvolupament de vistes dinàmiques i d'execució d'Apollo. Les vistes dinàmiques descriuen les interaccions entre els components del programari, vinculant els requisits de seguretat amb la seva implementació i proves de validació. Per complementar aquestes vistes, la tesi introdueix les vistes d'execució, que afegeixen informació sobre el paral·lelisme i la concurrència de l'aplicació. Les vistes d'execució milloren l'observabilitat de l'ús de recursos, el comportament temporal i la concurrència, cosa que permet tant una millor verificació com una optimització de l'ús del maquinari. Finalment, la tesi aborda el comportament temporal i la variabilitat entre els components del programari. Identifica, formalitza i aplica un conjunt de mètriques temporals capaces de capturar les interaccions entre mòduls i les propietats de latència d'extrem a extrem en aplicacions de CA. Les mètriques temporals tradicionals no aconsegueixen reflectir les dependències entre components en sistemes com Apollo. Mitjançant l'adopció de mètriques complementàries, com ara el temps màxim de reacció i el desplaçament màxim en el temps, s'ofereix una visió més profunda de les dependències temporals, cosa que permet la detecció primerenca d'anomalies temporals. En resum, aquesta tesi proporciona un conjunt de metodologies i eines per millorar la ViV del programari de CA des d'un prisma de seguretat i rendiment. Les contribucions proposades redueixen l'escletxa entre el programari d'alt rendiment basat en IA i el determinisme requerit pels estàndards de seguretat. Aquests avenços donen suport a la garantia de la seguretat en els marcs de programari de CA, contribuint finalment al desplegament segur i certificable de vehicles autònoms sobre plataformes encastades d'alt rendiment. (Español) La Conducción Autónoma (CA) ha pasado de ser un concepto de investigación a convertirse en una realidad. Las crecientes demandas computacionales de los vehículos autónomos han motivado el uso de sistemas multiprocesador en chip, que ofrecen tanto alto rendimiento como eficiencia energética. Sin embargo, garantizar el cumplimiento de los requisitos de seguridad en sistemas tan complejos sigue siendo un gran desafío. Los marcos de software utilizados para implementar las funcionalidades de CA, que suelen integrar algoritmos de Inteligencia Artificial (IA), no se diseñan siguiendo procesos de desarrollo orientados a la seguridad, y su comportamiento no determinista entra en conflicto con el estricto determinismo exigido por los estándares de seguridad. Esta tesis aborda dichos desafíos mediante el desarrollo de soluciones de Verificación y Validación (VyV) orientadas a mejorar el cumplimiento de seguridad en marcos de CA, enfocadas al rendimiento. La tesis empieza analizando las principales fuentes de no determinismo en los sistemas de CA en tres niveles: algorítmico, arquitectura del software y plataforma hardware. Aunque la variabilidad está presente en todos ellos, identificamos el nivel de arquitectura de software como un contribuyente clave a la variabilidad global. Este nivel no solo introduce sus propias fuentes de variabilidad, sino que también amplifica aquellas heredadas de las demás capas. Por ello, la arquitectura de software se presenta como un punto clave para mejorar el determinismo del sistema y la garantía de seguridad. La tesis también aborda los desafíos que este software presenta en las pruebas unitarias definidas en los estándares de seguridad. Para ello, usamos Apollo, un software de CA de código abierto. Debido a las fuertes dependencias entre sus módulos, no es fácil validar de forma independiente cada módulo. Para permitir una verificación adecuada de estos, la tesis propone una metodología para aislar y reconfigurar los módulos de Apollo en unidades independientes, permitiendo así realizar las pruebas unitarias en un software de CA complejo. El trabajo avanza para garantizar la seguridad del sistema mediante el desarrollo de vistas dinámicas y de ejecución de Apollo. Las vistas dinámicas describen las interacciones entre los componentes de software, vinculando los requisitos de seguridad con su implementación y pruebas de validación. Para complementar estas vistas, la tesis introduce las vistas de ejecución, que añaden información sobre el paralelismo y la concurrencia de la aplicación. Las vistas de ejecución mejoran la observabilidad del uso de recursos, el comportamiento temporal y la concurrencia, permitiendo tanto una mejor verificación como una optimización del uso del hardware. Finalmente, la tesis aborda el comportamiento temporal y la variabilidad entre los componentes del software. Identifica, formaliza y aplica un conjunto integral de métricas de tiempo, capaces de capturar las interacciones entre módulos y las propiedades de latencia extremo a extremo en aplicaciones de CA. Las métricas temporales tradicionales no logran reflejar las dependencias entre componentes en sistemas como Apollo. Mediante la adopción de métricas complementarias, como el tiempo máximo de reacción y el desplazamiento máximo en el tiempo, se puede ofrecer una visión más profunda de las dependencias temporales, permitiendo la detección temprana de anomalías temporales. En resumen, esta tesis proporciona un conjunto de metodologías y herramientas para mejorar la VyV del software de CA desde una perspectiva de seguridad y rendimiento. Las contribuciones propuestas estrechan la brecha entre el software de alto rendimiento basado en IA y el determinismo estricto requerido por los estándares de seguridad. Estos avances respaldan la garantía de la seguridad en los marcos software de CA, contribuyendo finalmente al despliegue seguro y certificable de vehículos autónomos sobre plataformas embebidas de alto rendimiento. DOCTORAT EN ARQUITECTURA DE COMPUTADORS (Pla 2012) |
| Druh dokumentu: | Dissertation/Thesis |
| Popis souboru: | application/pdf |
| Jazyk: | English |
| DOI: | 10.5821/dissertation-2117-456897 |
| Přístupová URL adresa: | http://hdl.handle.net/10803/696917 https://dx.doi.org/10.5821/dissertation-2117-456897 |
| Rights: | L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by/4.0/ |
| Přístupové číslo: | edstdx.10803.696917 |
| Databáze: | TDX |
| Abstrakt: | (English) Autonomous Driving (AD) has rapidly evolved from a research concept into an industrial reality. The increasing computational demands of autonomous vehicles have motivated the use of high-performance Multi-Processor Systems-on-Chip (MPSoCs), which offer both performance and energy efficiency. However, ensuring the safety compliance of such complex systems remains a major challenge. The software frameworks used to implement AD functionalities—typically integrating Artificial Intelligence (AI) algorithms—are not designed following a safety-driven development processes, and their non-deterministic behavior conflicts with the strict determinism required by safety standards. This thesis addresses these challenges by developing Verification and Validation (V&V) solutions that improve the safety compliance of AD frameworks, with a particular focus on performance-related aspects. The thesis begins by analyzing the main sources of non-determinism in AD systems across three layers: algorithmic, software architectural, and hardware platform. While variability exists in all layers, the software architecture layer is identified as a key contributor to the overall unpredictability. It not only introduces its own sources of variability but also amplifies those inherited from the other layers. This makes software architecture an effective focal point to improve system determinism and safety assurance. At the foundational level, the thesis addresses the challenge of unit testing within already-integrated AD frameworks, using the open-source Apollo AD framework as a case study. Due to tight coupling and data dependencies among its modules, Apollo does not easily support independent module validation. To enable proper verification of software units, the thesis proposes a systematic methodology to isolate, modify, and reconfigure Apollo modules into standalone, testable units, thus reintroducing unit-level testing capabilities into a complex, AI-based AD framework. The work advances toward system-level safety assurance through the development of dynamic and execution views of Apollo. Dynamic views describe the interactions among software components, linking safety requirements with their implementation and validation tests. However, these views alone fail to capture the concurrent behavior and execution parallelism of the system, which are crucial for verifying performance-related safety requirements. To fill this gap, the thesis introduces execution views, which complements dynamic views by integrating runtime information gathered from execution tracing on MPSoC platforms. Execution views enhance the observability of resource usage, timing behavior, and concurrency, allowing both improved testing and optimized hardware utilization—key aspects for reducing cost and ensuring safety. Finally, the thesis addresses the timing behavior and variability across software components. It identifies, formalizes, and applies a comprehensive set of timing-related metrics capable of capturing inter-module interactions and end-to-end latency properties in AD applications. Traditional timing metrics, such as worst-case execution and response times, fail to capture the interdependencies between components in systems like Apollo. By adopting complementary metrics such as maximum reaction time and maximum time displacement, the proposed approach provides deeper insights into timing dependencies, enabling early detection of timing anomalies and improving validation confidence. Overall, this thesis provides a set of methodologies and tools to improve the V&V of AD software from a safety-performance perspective. The proposed contributions bridge the gap between high-performance AI-based software and the stringent determinism required by safety standards. These advances support the systematic assurance of safety in AD frameworks, ultimately contributing to the reliable and certifiable deployment of autonomous vehicles on high-performance embedded platforms. |
|---|---|
| DOI: | 10.5821/dissertation-2117-456897 |