Recordemos quien soy
Hola habr. Soy Ivan Bakaidov . Hace muchos años escribí sobre el proyecto de mi escuela para un programa que permite a las personas con discapacidades físicas graves escribir con un botón. Aquí está ese artículo .
Desde ese momento, muchas cosas han cambiado, la niña para la que escribí este programa murió , el proyecto pasó a llamarse LINKa. He realizado muchos programas para otras formas de discapacidad motora. Me di cuenta de que perdí la ola de voluntarios que surgió durante el último habrohype, ya que los proyectos de código abierto necesitan mantenerse.
Pero no he dejado el tema de desarrollar programas de comunicación. Y con el dinero de la "subvención Dudya", desarrolló un nuevo comunicador que le permite seleccionar tarjetas con un vistazo. Y necesito ayuda para agregar algunas funciones. Pila: C #, WPF.
¿Con una mirada? o_O! ¿Me gusta esto? ¿Te tiembla la cabeza?
En realidad, durante mucho tiempo en los comentarios del habr me escribieron sobre la tecnología del eye tracking, y me salté estos comentarios, porque pensé que era caro y con la cabeza negando no podría funcionar. ¡Estaba equivocado!
Desde 2016, Tobii (también conocido como Apple del mundo del seguimiento ocular) ha comenzado a desarrollar dispositivos de bajo costo para el mercado de los jugadores. Estos dispositivos son 10 veces más baratos que los dispositivos para "personas discapacitadas" (ley de calcomanías especiales para dispositivos). En un par de años, se les ocurrió el excelente modelo Tobii 4c , que se puede comprar en un hipermercado de electrónica normal y conectarlo a USB 2.0.
Una de las fundaciones me arrojó este dispositivo con las palabras “Pruébalo, chico”. Lo puse en el estante con las palabras "Eytracking y parálisis cerebral: no funcionará, entonces lo veré de alguna manera". Todavía solo funciona con Windows, pero tengo una Mac. Pero las fundaciones son organizaciones tan grandes que exigen informes.
Bootcamp, configúrelo, configúrelo y se dio cuenta de que esta generación de rastreadores oculares aprendió a rastrear la posición de la cabeza y, a partir de ella, la posición de los ojos. A una frecuencia muy alta. Y todo funciona, mueve la cabeza todo lo que quieras.
El software principal de este rastreador es el juego, en el Dock puedes marcar 2 enemigos con tus ojos. Todas las demostraciones integradas muestran características de jugador. Pero hay una API abierta para trabajar en programas de terceros.
Existe la posibilidad de crear interfaces guiadas por el ojo. Estas interfaces son extremadamente simples: consisten en una cuadrícula de botones. Cuando mantiene la mirada fija en el botón, se produce un clic. Y aquí muchos ya se han distinguido. El propio Windows 10 tiene un emulador de teclado y mouse integrado para el rastreador ocular (es cierto, no hay letras "X" ni "B" en la localización. ¡Ni siquiera pidas Bread!).
¡De ninguna manera!
Hay un teclado BB2K bastante sensato , lo escribí en el desarrollador Habré. Personalmente, me gusta mucho Optikey , es un teclado bien localizado de un desarrollador del Reino Unido. Tiene varias opciones, incluidos los pictogramas para niños que no escriben.
Bueno, si ya tienes un óptico, ¿por qué escribir el tuyo?
Ésta es una pregunta natural. Como recordará de artículos anteriores, para los especialistas que trabajan con personas del habla, es muy importante poder crear contenido ellos mismos, elegidos por el barrio, y no trabajar con un ladrillo prefabricado, en el que se cosen incluso muy buenas tarjetas. Esto se debe al hecho de que muchas veces a las personas sin habla solo se les debe enseñar a escribir, o simplemente a entender que el dibujo de una taza denota la taza misma en la cocina de la que se bebe. Y en la misma Óptica, necesitas crear un juego de tarjetas a través de PowerPoint .
Es por eso que Link se basó en la idea de que aprendí bien mientras estudiaba en la escuela para niños con discapacidad: “Todo debería ser personalizable”. A partir de la idea, surgió una tarea muy simple: hacer una cuadrícula de tarjetas, de la cual las tarjetas se pueden seleccionar con los ojos, pero al mismo tiempo el método de selección, las tarjetas y la cuadrícula deben ser fáciles de personalizar. Formalicé todo esto en los TOR y encontré un programador de C # que entendía WPF (mejor que yo). En este momento, Yura Dud transfirió dinero y todo salió bien en general.
¿Que pasó al final?
El resultado es un programa que muestra un conjunto de tarjetas de un archivo .linka en una cuadrícula y le permite seleccionarlas usando: el rastreador ocular Tobii, el mouse, el teclado y el joystick del juego. También hay un modo en el que la elección de una tarjeta se realiza con un vistazo y la confirmación con un botón.
El programa contiene un editor para archivos .linka.
→ Puedes descargarlo desde aquí gratis: linka.su/looks
¿Pues, que hace falta hacer?
A pesar de la simplicidad y brevedad del programa, espero que su flexibilidad ayude a establecer comunicación en una variedad de casos.
Tengo algunas pequeñas ideas que me gustaría implementar en el programa y estaría muy feliz si pudiera ayudar con esto. Estas tareas se describen en este número , pero traeré algunas de ellas aquí y explicaré lo que quiero decir.
- , .
API Yandex TTS. , . . . , , , . , . . - Crea un sistema de selección de cartas con un botón.
A pesar de la magia del rastreador ocular, conocí a camaradas con los que no funcionó. Y me gustaría agregar para transferirles el algoritmo para seleccionar una tarjeta usando un botón del buen enlace antiguo, haga clic (y deje de admitir este último). - Permitir imprimir en programas de terceros.
- Localización a los idiomas de los países de la CEI.
También me alegrará que pruebes el programa y escribas tus ideas.
→ GitHub
→ Patreon
¡Gracias!