Herramientas de aprendizaje automático con redes neuronales para el reconocimiento de Lengua de Señas Colombiana
Saved in:
| Title: | Herramientas de aprendizaje automático con redes neuronales para el reconocimiento de Lengua de Señas Colombiana |
|---|---|
| Authors: | Quintero Bedoya, Andrés |
| Contributors: | Múnera Ramírez, Danny Alexandro, Pérez Patiño, Ana Lucía |
| Publisher Information: | Universidad de Antioquia Medellín, Colombia Facultad de Ingeniería. Ingeniería de Sistemas |
| Publication Year: | 2024 |
| Collection: | Universidad de Antioquia (UdeA): Biblioteca Digital |
| Subject Terms: | Inclusión Social, Social Inclusion, Lengua de Signos, Sign Language, Redes Neurales de la Computación, Neural Networks, Computer, Aprendizaje automático (inteligencia artificial), Machine learning, Discapacidad auditiva, https://id.nlm.nih.gov/mesh/D000083644, https://id.nlm.nih.gov/mesh/D012813, https://id.nlm.nih.gov/mesh/D016571 |
| Description: | RESUMEN : Este estudio aborda la mejora de la inclusión social mediante la creación de un sistema de traducción para la Lengua de Señas Colombiana (LSC), aprovechando avances en inteligencia artificial. Se utiliza tecnología de redes neuronales, específicamente redes neuronales recurrentes con unidades de procesamiento GRU y LSTM. Estas se optimizaron buscando los mejores hiperparámetros en plataformas como TensorFlow y Keras. Además, se propone el desarrollo de una plataforma colaborativa para unir a organizaciones interesadas en el proyecto. Esto permitirá crear un amplio corpus de LSC, esencial para el crecimiento del proyecto. Se utilizó FastAPI para mejorar la interfaz de usuario, complementada con React, y Kubernetes para sostener la infraestructura, asegurando su escalabilidad y eficiencia. El proyecto incluyó la creación de un corpus con 1500 videos de LSC. Esto no solo facilitó el entrenamiento de los modelos, sino que también generó una base de datos valiosa para futuras investigaciones. Los resultados preliminares indican un progreso notable en la interpretación automática de LSC, lo que podría tener un impacto significativo en la comunicación y la integración de la comunidad sorda en Colombia. Se desarrollaron experimentos comparando el desempeño de dos tipos de redes neuronales recurrentes con capas GRU y LSTM, obteniendo un desempeño promedio en la métrica en el F1 de 84.62% ± 11.04% con la red LSTM, mientras que con la red GRU se obtuvo un rendimiento promedio en el F1 del 91.17% ± 3.76%, lo que demostró una estabilidad mayor con las capas GRU. ; ABSTRACT : This study addresses the improvement of social inclusion by creating a translation system for Colombian Sign Language (LSC), leveraging advances in artificial intelligence. Neural network technology is used, specifically recurrent neural networks with GRU and LSTM processing units. These were optimized by seeking the best hyperparameters on platforms such as TensorFlow and Keras. In addition, the development of a collaborative platform is ... |
| Document Type: | bachelor thesis |
| File Description: | 74 páginas; application/pdf |
| Language: | Spanish; Castilian |
| Relation: | https://github.com/SignAIUdeA; https://hdl.handle.net/10495/38597 |
| Availability: | https://hdl.handle.net/10495/38597 |
| Rights: | https://creativecommons.org/licenses/by-nc-sa/4.0/ ; http://creativecommons.org/licenses/by-nc-sa/2.5/co/ ; info:eu-repo/semantics/openAccess ; http://purl.org/coar/access_right/c_abf2 |
| Accession Number: | edsbas.F3546E01 |
| Database: | BASE |
Nájsť tento článok vo Web of Science | Abstract: | RESUMEN : Este estudio aborda la mejora de la inclusión social mediante la creación de un sistema de traducción para la Lengua de Señas Colombiana (LSC), aprovechando avances en inteligencia artificial. Se utiliza tecnología de redes neuronales, específicamente redes neuronales recurrentes con unidades de procesamiento GRU y LSTM. Estas se optimizaron buscando los mejores hiperparámetros en plataformas como TensorFlow y Keras. Además, se propone el desarrollo de una plataforma colaborativa para unir a organizaciones interesadas en el proyecto. Esto permitirá crear un amplio corpus de LSC, esencial para el crecimiento del proyecto. Se utilizó FastAPI para mejorar la interfaz de usuario, complementada con React, y Kubernetes para sostener la infraestructura, asegurando su escalabilidad y eficiencia. El proyecto incluyó la creación de un corpus con 1500 videos de LSC. Esto no solo facilitó el entrenamiento de los modelos, sino que también generó una base de datos valiosa para futuras investigaciones. Los resultados preliminares indican un progreso notable en la interpretación automática de LSC, lo que podría tener un impacto significativo en la comunicación y la integración de la comunidad sorda en Colombia. Se desarrollaron experimentos comparando el desempeño de dos tipos de redes neuronales recurrentes con capas GRU y LSTM, obteniendo un desempeño promedio en la métrica en el F1 de 84.62% ± 11.04% con la red LSTM, mientras que con la red GRU se obtuvo un rendimiento promedio en el F1 del 91.17% ± 3.76%, lo que demostró una estabilidad mayor con las capas GRU. ; ABSTRACT : This study addresses the improvement of social inclusion by creating a translation system for Colombian Sign Language (LSC), leveraging advances in artificial intelligence. Neural network technology is used, specifically recurrent neural networks with GRU and LSTM processing units. These were optimized by seeking the best hyperparameters on platforms such as TensorFlow and Keras. In addition, the development of a collaborative platform is ... |
|---|