A Lightweight Mitigation Technique for Resource- Constrained Devices Executing DNN Inference Models Under Neutron Radiation
Uloženo v:
| Název: | A Lightweight Mitigation Technique for Resource- Constrained Devices Executing DNN Inference Models Under Neutron Radiation |
|---|---|
| Autoři: | Jonas Gava, Alex Hanneman, Geancarlo Abich, Rafael Garibotti, Sergio Cuenca-Asensi, Rodrigo Possamai Bastos, Ricardo Reis, Luciano Ost |
| Přispěvatelé: | Universidad de Alicante. Departamento de Tecnología Informática y Computación, UniCAD: Grupo de investigación en CAD/CAM/CAE de la Universidad de Alicante, Universidade Federal do Rio Grande do Sul Porto Alegre (UFRGS), Loughborough University, Pontifícia Universidade Católica do Rio Grande do Sul Brasil = Pontifical Catholic University of Rio Grande do Sul Brazil = Université catholique pontificale de Rio Grande do Sul Brésil (PUC-RS), Universidad de Alicante, Architectures and Methods for Resilient Systems (TIMA-AMfoRS), Techniques de l'Informatique et de la Microélectronique pour l'Architecture des systèmes intégrés (TIMA), Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes (UGA)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP), Université Grenoble Alpes (UGA)-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes (UGA)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP), Université Grenoble Alpes (UGA), ANR-10-AIRT-0005,NANOELEC,NANOELEC(2010) |
| Zdroj: | RUA. Repositorio Institucional de la Universidad de Alicante Universidad de Alicante (UA) |
| Informace o vydavateli: | Institute of Electrical and Electronics Engineers (IEEE), 2023. |
| Rok vydání: | 2023 |
| Témata: | Artificial neural network, Artificial intelligence, Memristive Devices for Neuromorphic Computing, Convolutional neural network, Neutron Radiation, Real-time computing, Engineering, Error Detection, DNN and CNN inference models, Inference, Computer engineering, FOS: Electrical engineering, electronic engineering, information engineering, [SPI.NANO]Engineering Sciences [physics]/Micro and nanotechnologies/Microelectronics, Arm Cortex-M, Electrical and Electronic Engineering, Resource allocation, Embedded system, Neuromorphic Computing, Computer network, DNN and CNN inference model, resource-constrained device, Computer science, Overhead (engineering), Operating system, PACS 8542, Fault Tolerance in Electronic Systems, neutron radiation, Atomic Layer Deposition Technology, Resource-constrained Devices, Physical Sciences, Soft Errors, Software, Simulation |
| Popis: | Les modèles de réseaux neuronaux profonds (DNN) sont déployés dans des dispositifs embarqués critiques pour la sécurité pour l'identification, la reconnaissance et même la prédiction de trajectoire d'objets. Les versions optimisées de ces modèles, en particulier les modèles convolutifs, sont de plus en plus courantes dans les dispositifs informatiques de pointe à ressources limitées (par exemple, les capteurs, les drones), qui reposent généralement sur une empreinte mémoire réduite, un faible budget énergétique et des microprocesseurs peu performants. Les modèles de réseaux neuronaux profonds sont sujets aux erreurs logicielles induites par le rayonnement, et s'attaquer à leur occurrence dans les dispositifs à ressources limitées est un défi obligatoire et substantiel. Bien que les techniques traditionnelles d'atténuation des erreurs logicielles basées sur la réplication tiendront probablement compte pour une pénalité de performance raisonnable, les solutions matérielles sont encore plus coûteuses.Pour relever ce défi presque contradictoire, ce travail évalue l'efficacité d'une technique d'atténuation logicielle légère, appelée Register Allocation Technique (RAT), lorsqu'elle est appliquée à un modèle de réseau neuronal convolutif (CNN) fonctionnant sur deux microprocesseurs ARM commerciaux (c'est-à-dire Cortex-M4 et M7) sous l'effet du rayonnement neutronique.Les résultats recueillis à partir de deux campagnes de rayonnement neutronique suggèrent que RAT peut réduire le nombre de défauts critiques dans le modèle CNN fonctionnant sur les deux microprocesseurs ARM Cortex-M.Les résultats suggèrent également que le SDC Le taux d'AJUSTEMENT du modèle CNN durci par rat peut être réduit jusqu'à 83 % avec une surcharge d'exécution de 32 %. Los modelos de redes neuronales profundas (DNN) se están implementando en dispositivos integrados críticos para la seguridad para la identificación de objetos, el reconocimiento e incluso la predicción de la trayectoria. Las versiones optimizadas de dichos modelos, en particular los convolucionales, se están volviendo cada vez más comunes en dispositivos informáticos de borde con recursos limitados (por ejemplo, sensores, drones), que generalmente se basan en una huella de memoria reducida, un bajo presupuesto de energía y microprocesadores de bajo rendimiento. Los modelos NDN son propensos a errores suaves inducidos por la radiación, y abordar su aparición en dispositivos con recursos limitados es un desafío obligatorio y sustancial. Mientras que las técnicas tradicionales de mitigación de errores suaves basadas en la replicación probablemente tendrán en cuenta para una penalización de rendimiento razonable, las soluciones de hardware son aún más costosas. Para emprender este desafío casi contradictorio, este trabajo evalúa la eficiencia de una técnica de mitigación ligera basada en software, llamada Técnica de Asignación de Registro (RAT), cuando se aplica a un modelo de red neuronal convolucional (CNN) que se ejecuta en dos microprocesadores ARM comerciales (es decir, Cortex-M4 y M7) bajo los efectos de la radiación de neutrones. Los resultados recopilados obtenidos de dos campañas de radiación de neutrones sugieren que RAT puede reducir el número de fallas críticas en el modelo CNN que se ejecuta en ambos microprocesadores ARM Cortex-M. Los resultados también sugieren que el SDC la tasa de AJUSTE del modelo CNN endurecido por Rat se puede reducir hasta en un 83% con una sobrecarga de tiempo de ejecución del 32%. Deep neural network (DNN) models are being deployed in safety-critical embedded devices for object identification, recognition, and even trajectory prediction.Optimised versions of such models, in particular the convolutional ones, are becoming increasingly common in resource-constrained edge-computing devices (e.g., sensors, drones), which typically rely on reduced memory footprint, low power budget and low-performance microprocessors.DNN models are prone to radiation-induced soft errors, and tackling their occurrence in resource-constrained devices is a mandatory and substantial challenge.While traditional replication-based soft error mitigation techniques will likely account for a reasonable performance penalty, hardware solutions are even more costly.To undertake this almost contradictory challenge, this work evaluates the efficiency of a lightweight software-based mitigation technique, called Register Allocation Technique (RAT), when applied to a convolutional neural network (CNN) model running on two commercial Arm microprocessors (i.e., Cortex-M4 and M7) under the effects of neutron radiation.Gathered results obtained from two neutron radiation campaigns suggest that RAT can reduce the number of critical faults in the CNN model running on both Arm Cortex-M microprocessors.Results also suggest that the SDC FIT rate of the RAT-hardened CNN model can be reduced in up to 83% with a runtime overhead of 32%. يتم نشر نماذج الشبكة العصبية العميقة (DNN) في الأجهزة المدمجة ذات الأهمية الحيوية للسلامة لتحديد الكائنات والتعرف عليها وحتى التنبؤ بالمسار. أصبحت الإصدارات المحسنة من هذه النماذج، ولا سيما الإصدارات الالتفافية، شائعة بشكل متزايد في أجهزة الحوسبة الطرفية المقيدة بالموارد (مثل أجهزة الاستشعار والطائرات بدون طيار)، والتي تعتمد عادة على انخفاض بصمة الذاكرة وميزانية الطاقة المنخفضة والمعالجات الدقيقة منخفضة الأداء. نماذج الشبكة العصبية العميقة عرضة للأخطاء اللينة الناجمة عن الإشعاع، ومعالجة حدوثها في الأجهزة المقيدة بالموارد يمثل تحديًا إلزاميًا وجوهريًا. في حين أن تقنيات التخفيف من الأخطاء اللينة القائمة على النسخ المتماثل التقليدية من المرجح أن تحسب لعقوبة أداء معقولة، تكون حلول الأجهزة أكثر تكلفة. للقيام بهذا التحدي المتناقض تقريبًا، يقوم هذا العمل بتقييم كفاءة تقنية التخفيف القائمة على البرامج خفيفة الوزن، والتي تسمى تقنية تخصيص التسجيل (RAT)، عند تطبيقها على نموذج الشبكة العصبية الالتفافية (CNN) الذي يعمل على اثنين من المعالجات الدقيقة للذراع التجارية (أي Cortex - M4 و M7) تحت تأثيرات الإشعاع النيوتروني. تشير النتائج التي تم جمعها من حملتين للإشعاع النيوتروني إلى أن RAT يمكن أن تقلل من عدد الأخطاء الحرجة في نموذج CNN الذي يعمل على كل من المعالجات الدقيقة ARM Cortex - M. تشير النتائج أيضًا إلى أن SDC يمكن تخفيض معدل الملاءمة لنموذج سي إن إن المقوى بـ RAT بنسبة تصل إلى 83 ٪ مع النفقات العامة لوقت التشغيل بنسبة 32 ٪. |
| Druh dokumentu: | Article Other literature type |
| ISSN: | 1558-1578 0018-9499 |
| DOI: | 10.1109/tns.2023.3262448 |
| DOI: | 10.60692/35d29-atj37 |
| DOI: | 10.60692/9qrz6-abe63 |
| Přístupová URL adresa: | http://hdl.handle.net/10045/133418 https://hdl.handle.net/10045/133418 |
| Rights: | IEEE Copyright CC BY NC |
| Přístupové číslo: | edsair.doi.dedup.....a1a190de67ba4f95e34a97c4a19b26e3 |
| Databáze: | OpenAIRE |
Full Text Finder 
Nájsť tento článok vo Web of Science | Abstrakt: | Les modèles de réseaux neuronaux profonds (DNN) sont déployés dans des dispositifs embarqués critiques pour la sécurité pour l'identification, la reconnaissance et même la prédiction de trajectoire d'objets. Les versions optimisées de ces modèles, en particulier les modèles convolutifs, sont de plus en plus courantes dans les dispositifs informatiques de pointe à ressources limitées (par exemple, les capteurs, les drones), qui reposent généralement sur une empreinte mémoire réduite, un faible budget énergétique et des microprocesseurs peu performants. Les modèles de réseaux neuronaux profonds sont sujets aux erreurs logicielles induites par le rayonnement, et s'attaquer à leur occurrence dans les dispositifs à ressources limitées est un défi obligatoire et substantiel. Bien que les techniques traditionnelles d'atténuation des erreurs logicielles basées sur la réplication tiendront probablement compte pour une pénalité de performance raisonnable, les solutions matérielles sont encore plus coûteuses.Pour relever ce défi presque contradictoire, ce travail évalue l'efficacité d'une technique d'atténuation logicielle légère, appelée Register Allocation Technique (RAT), lorsqu'elle est appliquée à un modèle de réseau neuronal convolutif (CNN) fonctionnant sur deux microprocesseurs ARM commerciaux (c'est-à-dire Cortex-M4 et M7) sous l'effet du rayonnement neutronique.Les résultats recueillis à partir de deux campagnes de rayonnement neutronique suggèrent que RAT peut réduire le nombre de défauts critiques dans le modèle CNN fonctionnant sur les deux microprocesseurs ARM Cortex-M.Les résultats suggèrent également que le SDC Le taux d'AJUSTEMENT du modèle CNN durci par rat peut être réduit jusqu'à 83 % avec une surcharge d'exécution de 32 %.<br />Los modelos de redes neuronales profundas (DNN) se están implementando en dispositivos integrados críticos para la seguridad para la identificación de objetos, el reconocimiento e incluso la predicción de la trayectoria. Las versiones optimizadas de dichos modelos, en particular los convolucionales, se están volviendo cada vez más comunes en dispositivos informáticos de borde con recursos limitados (por ejemplo, sensores, drones), que generalmente se basan en una huella de memoria reducida, un bajo presupuesto de energía y microprocesadores de bajo rendimiento. Los modelos NDN son propensos a errores suaves inducidos por la radiación, y abordar su aparición en dispositivos con recursos limitados es un desafío obligatorio y sustancial. Mientras que las técnicas tradicionales de mitigación de errores suaves basadas en la replicación probablemente tendrán en cuenta para una penalización de rendimiento razonable, las soluciones de hardware son aún más costosas. Para emprender este desafío casi contradictorio, este trabajo evalúa la eficiencia de una técnica de mitigación ligera basada en software, llamada Técnica de Asignación de Registro (RAT), cuando se aplica a un modelo de red neuronal convolucional (CNN) que se ejecuta en dos microprocesadores ARM comerciales (es decir, Cortex-M4 y M7) bajo los efectos de la radiación de neutrones. Los resultados recopilados obtenidos de dos campañas de radiación de neutrones sugieren que RAT puede reducir el número de fallas críticas en el modelo CNN que se ejecuta en ambos microprocesadores ARM Cortex-M. Los resultados también sugieren que el SDC la tasa de AJUSTE del modelo CNN endurecido por Rat se puede reducir hasta en un 83% con una sobrecarga de tiempo de ejecución del 32%.<br />Deep neural network (DNN) models are being deployed in safety-critical embedded devices for object identification, recognition, and even trajectory prediction.Optimised versions of such models, in particular the convolutional ones, are becoming increasingly common in resource-constrained edge-computing devices (e.g., sensors, drones), which typically rely on reduced memory footprint, low power budget and low-performance microprocessors.DNN models are prone to radiation-induced soft errors, and tackling their occurrence in resource-constrained devices is a mandatory and substantial challenge.While traditional replication-based soft error mitigation techniques will likely account for a reasonable performance penalty, hardware solutions are even more costly.To undertake this almost contradictory challenge, this work evaluates the efficiency of a lightweight software-based mitigation technique, called Register Allocation Technique (RAT), when applied to a convolutional neural network (CNN) model running on two commercial Arm microprocessors (i.e., Cortex-M4 and M7) under the effects of neutron radiation.Gathered results obtained from two neutron radiation campaigns suggest that RAT can reduce the number of critical faults in the CNN model running on both Arm Cortex-M microprocessors.Results also suggest that the SDC FIT rate of the RAT-hardened CNN model can be reduced in up to 83% with a runtime overhead of 32%.<br />يتم نشر نماذج الشبكة العصبية العميقة (DNN) في الأجهزة المدمجة ذات الأهمية الحيوية للسلامة لتحديد الكائنات والتعرف عليها وحتى التنبؤ بالمسار. أصبحت الإصدارات المحسنة من هذه النماذج، ولا سيما الإصدارات الالتفافية، شائعة بشكل متزايد في أجهزة الحوسبة الطرفية المقيدة بالموارد (مثل أجهزة الاستشعار والطائرات بدون طيار)، والتي تعتمد عادة على انخفاض بصمة الذاكرة وميزانية الطاقة المنخفضة والمعالجات الدقيقة منخفضة الأداء. نماذج الشبكة العصبية العميقة عرضة للأخطاء اللينة الناجمة عن الإشعاع، ومعالجة حدوثها في الأجهزة المقيدة بالموارد يمثل تحديًا إلزاميًا وجوهريًا. في حين أن تقنيات التخفيف من الأخطاء اللينة القائمة على النسخ المتماثل التقليدية من المرجح أن تحسب لعقوبة أداء معقولة، تكون حلول الأجهزة أكثر تكلفة. للقيام بهذا التحدي المتناقض تقريبًا، يقوم هذا العمل بتقييم كفاءة تقنية التخفيف القائمة على البرامج خفيفة الوزن، والتي تسمى تقنية تخصيص التسجيل (RAT)، عند تطبيقها على نموذج الشبكة العصبية الالتفافية (CNN) الذي يعمل على اثنين من المعالجات الدقيقة للذراع التجارية (أي Cortex - M4 و M7) تحت تأثيرات الإشعاع النيوتروني. تشير النتائج التي تم جمعها من حملتين للإشعاع النيوتروني إلى أن RAT يمكن أن تقلل من عدد الأخطاء الحرجة في نموذج CNN الذي يعمل على كل من المعالجات الدقيقة ARM Cortex - M. تشير النتائج أيضًا إلى أن SDC يمكن تخفيض معدل الملاءمة لنموذج سي إن إن المقوى بـ RAT بنسبة تصل إلى 83 ٪ مع النفقات العامة لوقت التشغيل بنسبة 32 ٪. |
|---|---|
| ISSN: | 15581578 00189499 |
| DOI: | 10.1109/tns.2023.3262448 |