ISSN 0798 1015
ISSN 0798 1015
Vol. 41 (Nº 06) Año 2020. Pág. 21
HERNANDEZ S., Cesar A. 1; SÁNCHEZ C., Juan M. 2 y SÁNCHEZ C., Guillermo A. 3
Recibido: 18/11/2019 • Aprobado: 08/02/2020 • Publicado: 27/02/2020
RESUMEN: La discapacidad auditiva puede generar dificultades para la comunicación con las personas oyentes, que finalmente pueden incidir en una exclusión social. La presente investigación tiene por objetivo desarrollar una APP que permita aumentar el nivel de autonomía y reducir el tiempo de aprendizaje de la lengua de señas, tanto en las personas con discapacidad auditiva como su familia y quienes la rodean. Los resultados alcanzados en el proceso de validación evidencian que la APP logra en gran parte su objetivo pero que aún existen factores por mejorar. |
ABSTRACT: Hearing impairment can lead to difficulties in communicating with hearing people, which can ultimately affect social exclusion. The purpose of this research is to develop a APP that increases the level of autonomy and reduces the learning time of sign language, both in people with hearing disabilities and their family and those around them. The results achieved in the validation process show that the APP largely achieves its objective but that there are still factors to improve. |
La lengua de señas es un tipo de comunicación visual, gestual y no oral, usado por la comunidad con discapacidad auditiva. Esta lengua posee su propia estructura gramatical y es muy diferente de la lengua oral, por tanto, no se da una correspondencia entre la estructura gramatical de ambas lenguas. Al respecto, (Tamarit, 1998) define la lengua de señas como “lenguajes naturales que se han desarrollado, al menos en parte, independientemente del lenguaje hablado, y no se corresponden lingüísticamente con él, teniendo sus propias estructuras sintácticas y organizativas bastante flexibles”. De la misma forma que existen diferentes lenguajes en el mundo, ocurre con la lengua de señas, las cuales varían según el país.
Aunque la persona sorda no presenta ningún tipo de incapacidad intelectual o cognitiva, es necesario contar con algunos servicios especiales para garantizar una adecuada educación (Domínguez & Rodríguez, 2003), como: intérpretes de la lengua de señas, películas y videos subtitulados, entre otras. Sumado a lo anterior, se debe tener en cuenta que los niños sordos tendrán una mayor dificultad a la hora de aprender el vocabulario, las expresiones, el orden de las letras en el alfabeto y otros aspectos de la comunicación.
En consecuencia, se hace necesario el uso temprano de métodos visibles de comunicación, tales como la lengua de señas, el alfabeto manual y la palabra complementada (Salvador & Gutiérrez, 2006). Los padres y los docentes de la escuela juegan un papel importante en el proceso de aprendizaje, ya que el trabajo conjunto permitirá un proceso de aprendizaje continuo, a partir del cual se buscará la consecución de metas anuales, con el acompañamiento tanto de docentes como de familiares.
De acuerdo con lo anterior, esta investigación se plante la siguiente pregunta: ¿cómo la tecnología podría mejorar el aprendizaje de la lengua de señas y el nivel de inclusión social de las personas con discapacidad auditiva permitiéndoles una mayor oportunidad de educación y calidad de vida? Para solucionar esta problemática, el presente trabajo tiene por objetivo diseñar una APP que permita aumentar el nivel de aprendizaje autónomo y reducir los tiempos de aprendizaje de la lengua de señas en el usuario con discapacidad auditiva, especialmente niños, y adicionalmente, facilitar la comunicación con la persona oyente que no conoce la lengua de señas, a través de un sintetizador de voz y un módulo de reconocimiento de voz. La APP denominada EnSeña, se desarrollará sobre la plataforma Android (v4.0 o superior) y podrá ser instalada en tabletas digitales y teléfonos inteligentes.
Se han realizado diferentes desarrollos tecnológicos, para mejorar el proceso de aprendizaje del lenguaje de señas, el cual es el lenguaje de comunicación preferido para las personas sordas y con lo cual coadyuva a la inclusión social de esta población. En el presente capítulo se presentaran los desarrollos mas relevantes hasta el momento.
El primer desarrollo a nombrar es SignQuiz. Esta es una aplicación de aprendizaje de signos para el lenguaje de señas indio, el cual su algoritmo fue desarrollado usando red neuronal profunda. Esta aplicación usa la técnica de reconocimiento automático del lenguaje de señas (Joy, Balakrishnan, & Sreeraj, 2019).
Otra investigación desarrollo una herramienta tecnológica la cual tiene como objetivo mejorar el aprendizaje inicial del lenguaje de señas en niños con discapacidad auditiva. El dispositivo esta construido principalmente por una pantalla táctil, un sintetizador de voz y un sistema de reconocimiento de voz (Hernández, Pulido, & Arias, 2015).
Otro desarrollo fue el de SiLearn, esta es una aplicación móvil basada en Inteligencia artificial que ayuda a enseñar el lenguaje de señas y además tiene funciones que ayudan a detectar objetos de texto y físicos, y convertirlos en sus signos correspondientes (Joy, Balakrishnan, & Sreeraj, SiLearn: an intelligent sign vocabulary learning tool, 2019).
En Ecuador se desarrollo una aplicación informática llamada “AIALS” para enseñar el lenguaje de señas, en esta aplicación se presentan temas como el alfabeto, colores, números, animales y miembros de una familia (Cuji, Gavilanes, & Silva, 2018).
Por último, corresponde a un desarrollo que consiste en un traductor de lenguaje de señas bidireccional automático, entre la escritura portuguesa y el lenguaje de señas portugués con el objetivo de facilitar el acceso de personas sordas o con discapacidad auditiva al contenido digital, en particular a contenido de aprendizaje (Escudeiro, Escudeiro, Reis, Barbosa, Bidarra, & Gouveia, 2014).
El nombre del proyecto creado para el Desarrollo en Andoid es Atplis, formado por el Acrónimo de Audicion Tecnologias para la inclusión social. El nombre del proyecto no determina el nombre de la aplicación, el cual se decidió que fuera EnSeña., por su doble significado de enseñar en señas.
Las actividades en una aplicación en Android definen el flujo de esta. En esta aplicación se utilizarán 2 Actividades:
La implementación del Navigation Drawer hace necesario el diseñar la aplicación con fragments.
En la figura 1 se muestra el flujo y las funciones de los Fragments de la aplicación.
Figura 1
Flujo y funciones de los Fragments
Fuente: Autores
MainActivity maneja el Navigation Drawer el cual a su vez se encarga de hacer los llamados a cada una de las 4 funcionalidades de la aplicación.
Al existir varias lecciones que se pueden enseñar se hace necesario un menú intermedio donde el usuario pueda escoger cual lección desea tomar, dicho fragment se denominará MenuLeccionesFragment.
Adicionalmente, se usará un fragment para la lógica propia de enseñar las lecciones, este fragment se denominará LeccionesFragment. Este fragment recibe el dato de que lección se debe dar. Este dato sirve para cargar la lista con las opciones que se tienen en la base de datos de los videos de la lección seleccionada. Es así que el fragment carga un ListView con estos datos y un VideoView. Una vez que el usuario escoge una opción de la lista, este dato se captura, se relaciona con el video de la seña que esta guardado en los recursos y se muestra en el VideoView.
Al existir varias lecciones que evaluar se creara un menú intermedio para que el usuario escoja en que lección quiere ser evaluado. Ya que es para niños esta evaluación se realizará en forma de juego, por lo cual el fragment se denominará MenuJuegoFragment.
Adicionalmente, se usará un fragment para la lógica propia del juego, este fragment se denominará JuegoSimpleFragment. Este fragment recibe el dato de que lección se debe evaluar. Este dato sirve para cargar la lista con todas las opciones posibles de la lección seleccionada. El fragment carga un ListView con estos datos y un VideoView donde mostrará las 4 señas que el usuario debe identificar. La lógica y cálculos de las preguntas y respuestas se realiza en una Clase aparte juego.java.
Esta funcionalidad de comunicación convertirá el texto que escriba el usuario en palabras audibles. La lógica de esta funcionalidad se puede encapsular en un solo fragment, este fragment se denominará TextoVozFragment. Este fragment carga la vista con un EditText para ingresar el texto que la aplicación se encargará de decir en voz alta. También se encarga de mostrar y esconder el teclado, y manejar el objeto TextToSpeech configurándolo para que use el lenguaje que este configurado en el dispositivo.
Este se modulo se puede desarrollar en Android por medio de RecognizerIntent (Developers, 2019), esta clase está disponible desde el Api 3. Esta es una biblioteca para manejar reconocimiento de voz Online (Androidhive, 2019). Pero existen formas de utilizar esta misma biblioteca sin conexión a internet (Androidhive, 2019), (Stackoverflow, 2019), el inconveniente es que no está disponible para todos los dispositivos Android y no existe una documentación oficial de Google sobre cuáles son estos dispositivos.
Esta funcionalidad de comunicación le permitirá al usuario decir una palabra, que el sistema la reconozca, la transforme en texto, y si la palabra se encuentra en la base de datos, muestre la imagen de la seña. La lógica de esta funcionalidad se puede encapsular en un solo fragment, este fragment se denominará VozTextoFragment.
En este fragment se configura el intent que pregunta al usuario que diga la seña, se configura el lenguaje que debe reconocer y los mensajes que debe mostrar. También se configura que se debe hacer con la respuesta de este intent, se valida que se realizó una correcta transformación de voz a texto y a partir de un resultado satisfactorio se carga el texto y el video correspondiente en el TextView y VideoView.
Los recursos como imágenes y videos que utilice la aplicación se ubicaran dentro de la aplicación en las carpetas asignadas por Android para este fin. De esta manera la aplicación podrá cargar los videos sin la necesidad de estar conectado a Internet.
La instalación de la APP EnSeña, se hace a través del archivo atplis.apk, pero para ello, primero es necesario autorizar la instalación de aplicaciones que no proviene de Google Play Store.
El acceso a la aplicación se realiza a través del icono que se observa en la Figura 2, el cual se encuentra en el launcher de Andorid.
Figura 2
Icono de Acceso
Fuente: (Sánchez, Sánchez, & Hernandez, 2016).
Después del Splash aparece la aplicación con el Drawer Menu, el cual es el menú principal en primer plano y de fondo la primera opción del menú que es “Que quieres aprender hoy?” (ver Figura 3).
Estas son 4 las opciones principales:
Figura 3
Drawer Menu
Fuente: (Sánchez, Sánchez, & Hernandez, 2016).
Es el menú con las 8 lecciones que cuenta la aplicación para enseñar la lengua de señas. Al oprimir alguna de las 8 opciones se dirige a la actividad de enseñanza (ver Figura 4).
Figura 4
Menú de aprendizaje
Fuente: (Sánchez, Sánchez, & Hernandez, 2016).
Al lado izquierdo se muestra la lista en texto de las señas relacionadas con el tema seleccionado en el menú “Que quieres aprender hoy?”. Los temas con que cuenta el aplicativo son: Letras, Números, Colores, Días, Meses, Familia, Expresiones y Vestuario.
Una vez se oprime uno de los temas de la lista, el tema de la lista cambia de color y se muestra su respectivo video de la seña en pantalla (ver Figura 5).
Figura 5
Video del módulo
de enseñanza letras
Fuente: (Sánchez, Sánchez, & Hernandez, 2016).
Al seleccionar del Drawer Menu la opción “Cuanto Sabes?” se muestran las mismas opciones del menú “Que quieres aprender hoy?” (Ver Figura 6), pero para que el estudiante desafié su conocimiento con un juego.
Figura 6
Menú Cuanto Sabes?
Fuente: (Sánchez, Sánchez, & Hernandez, 2016)
Se le informa al estudiante que van aparecer 4 señas y que debe seleccionar de la lista de la derecha la opción acertada. La ventana del juego tiene diferentes elementos que son:
Luego de aceptar la indicación preliminar aparece la primera seña. El video de la seña aparece una sola vez, al terminar el video se selecciona una opción de la lista e inmediatamente la aplicación indica que se va mostrar la siguiente seña de pregunta.
Al final del juego después de responder las cuatro preguntas, se muestra el porcentaje de aciertos, utilizando cuatro imágenes de caras. Una cara triste indica un fallo y una cara feliz indica un acierto (Ver Figura 7).
Figura 7
Resultado del juego
Fuente: (Sánchez, Sánchez, & Hernandez, 2016).
Después del resultado se dan las opciones de intentarlo de nuevo o regresar al menú “Cuanto Sabes?”.
Este módulo es de comunicación. Cuando se dice una palabra que este guardada en la aplicación, se muestra en pantalla el video de la seña correspondiente y también la palabra escrita.
Para el uso del módulo se oprime el botón del micrófono que aparece en la parte derecha de la pantalla, luego del evento anterior aparece un cuadro de dialogo animando al estudiante al hablar (Ver Figura 8). La aplicación al escuchar al estudiante procesa la información, reconoce la palabra y la escribe en la parte superior derecha, si la palabra está en la base de datos de la aplicación se muestra el video de la seña correspondiente.
Se puede utilizar este módulo varias veces y siempre esperará que el usuario diga una palabra. Para que este módulo funcione correctamente se requiere conexión a internet y hablar en volumen adecuado. De no cumplir con estas condiciones, el cuadro de dialogo pedirá que se hable de nuevo.
Figura 8
Inicio de Dime una Señal
Fuente: (Sánchez, Sánchez, & Hernandez, 2016).
Este módulo es de comunicación. Al escribir una palabra o frase la aplicación pronuncia en voz alta esta información. Al oprimir en el campo de escritura se despliega el teclado para poder escribir el mensaje (ver Figura 9).
Figura 9
Teclado virtual de Escribe tu mensaje!
Fuente: (Sánchez, Sánchez, & Hernandez, 2016).
Al oprimir aceptar se pronuncia lo escrito en voz alta y aparece un mensaje momentáneo para mostrar al estudiante con discapacidad auditiva que el mensaje está sonando.
Se realizó una prueba piloto en el Instituto de Terapia Especial de los Sentidos “ITES” del Club de Leones de Cali San Fernando, Colombia, con tres niños y una niña, de tercero, pre-jardin, segundo y primer grado, respectivamente. La Tabla 1 muestra los resultados estadísticos del uso de las tablets con la APP instalada durante la prueba piloto, y la Tabla 2 describe el análisis cualitativo de los resultados alcanzados durante la prueba piloto.
Tabla 1
Estadísticas de uso de
la APP en la prueba piloto
Tablet |
Fecha 2016 |
Sesión |
Tiempo Total |
Temas Vistos |
Evaluaciones Aplicadas |
Promedio Evaluación |
Reconocimiento Voz |
Tablet 1 |
01-08 |
Sesión 1 |
0:02:02 |
1 |
1 |
25,00 |
NO |
Tablet 1 |
11-10 |
Sesión 2 |
2:10:20 |
7 |
3 |
75,00 |
SI |
Tablet 1 |
11-10 |
Sesión 3 |
0:23:03 |
6 |
0 |
NA |
NO |
Tablet 1 |
27-10 |
Sesión 4 |
0:05:40 |
5 |
0 |
NA |
NO |
Tablet 1 |
01-11 |
Sesión 5 |
0:05:58 |
3 |
0 |
NA |
NO |
Tablet 2 |
11-10 |
Sesión 1 |
0:03:03 |
1 |
0 |
NA |
SI |
Tablet 2 |
11-10 |
Sesión 2 |
0:38:19 |
4 |
0 |
NA |
NO |
Tablet 2 |
11-10 |
Sesión 3 |
0:19:18 |
6 |
4 |
6,25 |
NO |
Tablet 2 |
01-11 |
Sesión 4 |
0:06:28 |
2 |
2 |
87,50 |
NO |
Tablet 3 |
31-07 |
Sesión 1 |
0:00:50 |
0 |
0 |
NA |
SI |
Tablet 3 |
11-10 |
Sesión 2 |
0:37:46 |
3 |
0 |
NA |
NO |
Tablet 3 |
11-10 |
Sesión 3 |
0:23:19 |
9 |
10 |
27,50 |
NO |
Tablet 3 |
27-10 |
Sesión 4 |
0:04:52 |
2 |
0 |
NA |
NO |
Tablet 3 |
01-11 |
Sesión 5 |
0:05:35 |
2 |
1 |
0,00 |
SI |
Fuente: Autores
-----
Tabla 2
Análisis de los resultados alcanzados durante la prueba piloto
Estudiante |
Edad (años) |
Grado |
Observaciones |
Joven |
13 |
Tercero |
Se inició prueba piloto con una seña la cual el estudiante observaba y la imitaba, aunque no hay comprensión de grafema y asociación de grafema con seña; para reconocimiento de voz el estudiante realiza sonidos a lo que el dispositivo de comunicación alternativa no reconoce; para la comunicación escrita por medio de este dispositivo el estudiante reacciona favorablemente lo cual facilita el uso de este, el estudiante manipula el dispositivo con facilidad y en cuanto a las lecciones se observa que el vocabulario en este dificulta la comunicación con el oyente puesto que está adaptado con nociones de diferentes regiones a las de Cali.
|
Niño |
6 |
Pre-Jardin |
Se identificó que se le dificulta decodificar las señas presentadas debido a que no son acompañadas de ilustraciones, teniendo en cuenta que el estudiante por la edad y el grado en el que se encuentra no decodifica grafemas, aunque al percibir números que son de su contexto inmediato pidió continuar con ellos sin necesidad de recurrir al programa |
Niño |
9 |
Segundo |
Se observó que el estudiante participó activamente en la actividad, siendo receptivo en cada uno de los pasos indicados, demostrando entusiasmo para realizar la actividad; sin embargo, expresó inconformidad debido a que las señas que presenta el dispositivo son diferentes a la de su región, teniendo en cuenta que el estudiante las corrigió y explicó como las hacia él. |
Niña |
9 |
Primero |
Se pudo observar que la niña comprendió el objetivo del programa manipulando de manera adecuada cada punto, pero se le dificultó en el momento de auto evaluarse por dos motivos primero por que la niña apenas está en la adquisición del proceso lecto - escrito y segundo porque el programa maneja señas diferentes a las que ella ya tiene establecidas |
Fuente: El Instituto de Terapia Especial de los Sentidos “ITES” del Club de Leones de Cali San Fernando, Colombia.
Despues de realizar la prueba piloto y de analizar los resultados obtenidos, se llegó a las siguientes sugerencias para mejorar el desempeño de la APP:
Adaptación de vocabulario a las diferentes regiones en las cuales se desea implementar este dispositivo de comunicación.
Aumentar el vocabulario y cada una de las lecciones puesto que el tema referencial es muy básico creando barreras ante la comunicación por este mismo.
Implementar imágenes referentes a las señas como otra estrategia de aprendizaje para la población sorda y que esta misma tenga asociación entre imagen, palabra escrita y seña.
El dispositivo de comunicación alternativo está enfocado con población con Hipoacusia y con uso del lenguaje oral.
La aplicación puede ser útil para el proceso de aprendizaje del lenguaje de señas, pero es necesario que se aumente su base de datos con respecto al vocabulario de señas, para que esté sea acorde al usado a la región donde se valla a utilizar y también facilite y mejore la comunicación del usuario.
La aplicación sirve como herramienta adicional a las convencionales para el proceso de aprendizaje del lenguaje de señas.
El uso de herramientas TIC contribuyen al proceso de enseñanza del lenguaje de señas dentro de la población sorda.
Androidhive. (2019). android-speech-to-text-tutorial. Obtenido de Androidhive: http://www.androidhive.info/2014/07/android-speech-to-text-tutorial/
Cuji, B., Gavilanes, W., & Silva, A. (2018). Use of ICT for sign language learning. Revista Espacios , 39 (29), Pág. 24. Recuperado de: https://www.revistaespacios.com/a18v39n29/18392924.html
Developers. (2019). RecognizerIntent. Obtenido de Developers: http://developer.android.com/reference/android/speech/RecognizerIntent.html
Domínguez, A., & Rodríguez, P. (2003). ¿Se puede enseñar conocimiento fonológico a los niños sordos? Infancia y aprendizaje , 26 (4), 485-501.
Escudeiro, P., Escudeiro, N. F., Reis, R. M., Barbosa, M., Bidarra, J., & Gouveia, B. (2014). Automatic sign language translator model. Advanced Science Letters , 20 (2), 531-533.
Hernández, C., Pulido, J., & Arias, J. (2015). Information technology in learning sign language. Revista de Salud Publica , 17 (1), 61-73.
Joy, J., Balakrishnan, K., & Sreeraj, M. (2019). SignQuiz: A quiz based tool for learning fingerspelled signs in indian sign language using ASLR. IEEE Access , 7 (8657686), 28363-28371.
Joy, J., Balakrishnan, K., & Sreeraj, M. (2019). SiLearn: an intelligent sign vocabulary learning tool. Journal of Enabling Technologies , 13 (3), 173-187.
Salvador, F., & Gutiérrez, R. (2006). El proceso de planificación en la expresión escrita de alumnos sordos: estudio de casos en educación secundaria. Revista de Educación (339), 435-453.
Sánchez, J. M., Sánchez, G. A., & Hernandez, C. A. (2016). Manual de Usuario Enseña. Universidad Distrital Francisco José de Caldas, Bogotá.
Stackoverflow. (2019). Offline Speech Recognition In Android (JellyBean) . Obtenido de Stackoverflow: http://stackoverflow.com/questions/17616994/offline-speech-recognition-in-android-jellybean
Tamarit, J. (1998). Los trastornos de la comunicación en deficiencia mental y otras alteraciones evolutivas: intervención mediante Sistemas de Comunicación Total. Comunicación aumentativa , 137-162.
1. Ingeniero Electrónico. Magister en Ciencias de la Información y las Comunicaciones. Phd. en Ingeniería de Sistemas y Computación. Profesor Titular. Universidad Distrital Francisco José de Caldas, Facultad Tecnológica. cahernandezs@udistrital.edu.co
2. Ingeniero Electrónico. Magister en Administración. Profesor Asociado e integrante del grupo de investigación GIIRA. Universidad Distrital Francisco José de Caldas, Facultad de Ingeniería. jmsanchezc@udistrital.edu.co
3. Ingeniero Electrónico. Universidad Distrital Francisco José de Cladas. Magister en Electrónica y Computación. Universidad de los Andes. Guille_andre@hotmail.com
[Índice]
revistaespacios.com
Esta obra está bajo una licencia de Creative Commons
Reconocimiento-NoComercial 4.0 Internacional