Este es uno de los muchos usos de los píxeles expresivos . La plataforma de desarrollo de Windows 10 que le permite crear representaciones animadas ahora está disponible de forma gratuita en Microsoft Store. Además de la aplicación, cuenta con un conjunto de software, gracias al cual se pueden utilizar pantallas LED para la comunicación mediante efectos visuales o emoji.
Todo esto amplía las posibilidades de la comunicación no verbal, abre nuevas formas para que los desarrolladores utilicen creativamente a través de la API de código abierto y reduce la barrera de entrada para los aspirantes a programadores, diseñadores e investigadores.
Expressive Pixels también sirve como un trampolín para aficionados o programadores más experimentados, permitiéndoles crear nuevas creaciones sin tener que averiguar cómo programar animaciones e imágenes en dispositivos pequeños; hay una biblioteca dedicada para eso.
No importa dónde trabaje, estudie o socialice, Expressive Pixels ofrece una forma animada de personalizar su espacio y amplificar su presencia, al igual que las imágenes, los recuerdos y diversas chucherías.
“Prestamos mucha atención a las funciones básicas de la vida diaria, pero cuando piensas en lo que nos hace humanos, son las emociones. Queremos expresar nuestras emociones y mantenernos en contacto ”, dijo Bernice Yu, gerente general de estrategia y proyectos de Microsoft Small, Medium & Corporate Business. Ella es parte del equipo del proyecto Expressive Pixels y ha contribuido mucho a la versión 2019 de Eyes First , que usa Windows 10 Eye Control , una característica clave de accesibilidad para personas con discapacidades visuales y de movilidad. “Es genial ser productivo, pero todos queremos ser humanos. Esta es una necesidad inviolable ".
Expressive Pixels se basa en años de colaboración profunda y fructífera entre Microsoft y Enable Group y personas con discapacidad visual severa y movilidad. El propósito de este trabajo es intentar comprender las preferencias de dichas personas, sus necesidades y problemas que surgen en la comunicación e interacción con otras personas, en la autoexpresión creativa y autoidentificación, así como ampliar las capacidades de los dispositivos tradicionales de Comunicación Aumentativa y Alternativa (CAA) con nuevos funciones para la comunicación no verbal, la autoexpresión, la transmisión de señales sociales y el estado del dispositivo.
Ejemplos de píxeles expresivos La
comunicación no es solo lo que escribe y dice. Gran parte de esto es un proceso no verbal que incluye saber cuándo es tu turno de hablar.
Harish Kulkarni
"La solución se puede utilizar para casos graves o como una forma creativa y divertida de contar algo sobre usted", dice Harish Kulkarni, gerente técnico del equipo de marcos de inteligencia artificial en la nube y del grupo de inteligencia artificial y nube de Microsoft. Ha sido miembro del equipo de Enable durante varios años y ha hecho mucho para integrar Eye Control en Windows 10.
En el camino, el equipo adoptó las innovaciones más inesperadas, superando obstáculos con nuevas ideas, inspiradas por los beneficios que la tecnología puede brindar a las personas.
Cuando los desarrolladores se dieron cuenta de que necesitaban un factor de forma que pudiera verse fácilmente desde cualquier lugar de la habitación y con cualquier iluminación, recurrieron a pantallas LED fáciles de usar ofrecidas por fabricantes externos como Sparkfun, Adafruit y Silicon Squared Displays. son dispositivos todo en uno personalizados diseñados para resolver problemas de resolución, comunicación, almacenamiento y animación por el ingeniero único del equipo de Expressive Pixels, Gavin Jahnke). Sin embargo, Expressive Pixels se puede usar sin una pantalla LED u otro dispositivo simplemente insertando GIF animados en los correos electrónicos.
Luego surgió otro problema: desarrollar software que facilitase la visualización de animaciones en pantallas. Una vez más, Jahnke asumió el desafío y creó un firmware que, junto con una aplicación de desarrollo, forma una plataforma que se puede ejecutar en múltiples dispositivos. Con este firmware, los fabricantes pueden utilizar o ampliar determinados aspectos. Los creadores pueden compartir sus animaciones originales en la Galería de la nube de la aplicación.
Jahnke jugó un papel decisivo en el desarrollo de estos elementos clave de Expressive Pixels, todo en su tiempo libre, fuera del trabajo principal.
Pantalla cuadrada de silicio: prototipos y evolución de la pantalla
La primera versión del dispositivo era una pantalla simple de 16 píxeles dispuestos en círculo. Para hacer este prototipo, se utilizó un cortador: se cortaron piezas circulares de material translúcido, que cubrieron las pantallas para difundir la luz brillante de los LED.
“Por lo general, cuando estoy haciendo algo, lo convierto en un plato real”, bromea Jahnke, gerente general de desarrollo de Microsoft Research. Pero se toma serio y agrega: "Mi vocación es ayudar a aquellos segmentos de la población y comunidades que no reciben el servicio adecuado, darles lo que no está disponible para ellos por sus capacidades técnicas, pero que está dentro de mis capacidades técnicas".
Jahnke es un experto en todos los oficios, habiendo adquirido nuevas habilidades, incluso en el campo de la ingeniería eléctrica, durante los tres años dedicados al proyecto. En el camino, creó una nueva categoría de dispositivos con una pantalla LED RGB de mayor resolución que la que estaba disponible anteriormente. También descubrió cómo proporcionar a los usuarios la máxima movilidad mediante la tecnología Bluetooth y varios mecanismos para activar animaciones, como interruptores o señales musicales MIDI.
"Lo que es realmente interesante son las consecuencias no deseadas de salir de su zona de confort y aprender algo nuevo", dice. "Obtienes ideas y habilidades increíbles".
El equipo de Expressive Pixels se reúne en Microsoft Teams en modo juntos. Fila de atrás (de izquierda a derecha): Anne Paradiso, Bernice Y. Segunda fila desde arriba (de izquierda a derecha): Noel Sophie, Gavin Yanke, Jarnael Chaj. Tercera fila desde arriba: Duane Lamb, Stacey Stutz. Fila inferior: Christopher O'Dowd.
El viaje de Expressive Pixels comenzó hace más de cinco años con el interés de Enable Group en mejorar los dispositivos de comunicación aumentativa y alternativa (AAC), que tienden a ser demasiado caros porque forman parte del mercado médico.
Píxeles expresivos en todos los dispositivos.
La directora de desarrollo Anne Paradiso tomó la iniciativa en este esfuerzo, con el deseo de canalizar sus energías para servir a los demás. Trabajó con el equipo de Jahnke en Microsoft Research antes de unirse al Enable Group, y Jahnke no rechazó su ayuda, especialmente porque el proyecto estaba ganando impulso.
Primero trabajaron con el exjugador de la NFL Steve Gleason, quien inspiró y estimuló la investigación después de que le diagnosticaran ELA (esclerosis lateral amiotrófica). Aunque Gleason era experto en el uso de la tecnología de seguimiento ocular, todavía le resultaba difícil comunicarse cuando surgían problemas técnicos y tenía que mirar a la pantalla en lugar de a la persona que intentaba comunicarse con él.
“Al hablar con una persona que solo controla un dispositivo de voz con los ojos, notará que el ritmo de la conversación es mucho más lento en comparación con el habla normal. A menudo, las conversaciones a través de AAC son de 12 a 25 veces más lentas, incluso con una precisión predictiva mejorada y un reconocimiento del movimiento ocular, dice Paradiso. “Así que a menudo observamos cómo el interlocutor no puede soportar el silencio prolongado o no puede entender que le están preparando una respuesta y continúa hablando, y la persona con impedimentos del habla se queda sin la oportunidad de hablar”.
Esto llevó a una investigación centrada en el usuario en la que participaron personas con ELA y sus familias. Paradiso y su personal se reunieron con ellos regularmente, los acompañaron a las citas con los médicos, observaron sus interacciones con neurólogos, logopedas, fisioterapeutas y muchos otros. Las reuniones se llevaron a cabo tanto en casa como en los laboratorios de Microsoft. La confianza resultante ha permitido a los investigadores conocer verdaderamente el ecosistema que rodea a las personas con discapacidades, aprender sobre los sistemas de apoyo y las actitudes de los miembros de la familia, examinar el equipo y descubrir qué funciona y qué no.
Rápidamente nos dimos cuenta de que optimizar las pantallas LED para la comunicación basada en emojis era una gran oportunidad.
Anne Paradiso
“Los emoji ya son omnipresentes en las plataformas de comunicación digital, incluidos los mensajes de texto, el correo electrónico y las redes sociales. Toman menos acción para transmitir la intención, el contexto o el estado de ánimo. Un solo icono de emoji puede cambiar o mejorar drásticamente la percepción de un mensaje. Creemos que se pueden utilizar como mediadores expresivos adicionales para personas que no pueden hablar o controlar los músculos responsables de las expresiones faciales, dice Paradiso. - Las personas con ELA que trabajan con nosotros son algunas de las personas más divertidas, reflexivas y creativas que conozco, pero las oportunidades disponibles para ellos para expresar sus pensamientos son limitadas debido a las discapacidades e imperfecciones de los dispositivos de voz disponibles y las tecnologías subyacentes. Sabemos,que la gente quiere expresar mucho más con sus dispositivos AAC, no solo comunicarse con frases simples. Queríamos crear algo que ayudara a las personas a participar más activamente en las conversaciones, que fuera visible con poca luz y desde la distancia, y que también brindara otra oportunidad para la expresión, comunicación y transmisión de emociones únicas ".
Los desarrolladores probaron varias pantallas adicionales, pero volvieron a las pantallas LED por varias razones: son económicas, funcionan razonablemente bien y son "geniales". Las personas con ELA en la investigación también dejaron en claro que no querían usar nada que pudiera tener consecuencias sociales negativas no deseadas para los usuarios.
“Observar y capacitar a las personas que viven con ELA para que puedan hacer cosas que nunca esperaron es motivación suficiente para trabajar duro”, dijo Duane Lamb, un desarrollador que se unió a Enable Group a principios de 2017. interfaz de usuario e interfaz de usuario. - La mayoría de las veces, cuando está hablando con alguien que solo puede comunicarse con sus ojos, esa persona ingresa texto mientras mira el teclado del dispositivo frente a él. Y usted, aunque esto es de mala forma, desde el punto de vista de la etiqueta social, suele mirar por encima del hombro del interlocutor en un intento de ver lo que está escribiendo ".
El advenimiento de Expressive Pixels se debe en parte al deseo de resolver este problema.
Emoji en la aplicación Expressive Pixels
Los píxeles expresivos se pueden usar para animar pantallas de varios tamaños, hasta 64 × 64 píxeles, dijo Christopher O'Dowd, quien ayudó a llenar los vacíos de hardware en el proyecto. O'Dowd señaló que las pantallas LED son omnipresentes en Maker Faire, en casa durante las vacaciones y más. Las pantallas LED son tan versátiles que a menudo se pueden encontrar incluso en telas (como máscaras, gorras y mochilas) o carteles.
Una de las primeras aplicaciones de pantallas LED del equipo de Expressive Pixels fue el galardonado proyecto SXSW Music without Hands .
Este proyecto utiliza una matriz LED personalizada con soporte midi y sincronización de música. Era una herramienta de visualización adicional para una batería física controlada por los ojos diseñada para uno de los miembros de Expressive Pixels, un músico de Seattle que vive con ELA. Ganador del Premio a la Innovación Interactiva SXSW 2018: Innovación en Música y Audio, el proyecto incluye un conjunto de nuevas aplicaciones guiadas por el ojo para componer e interpretar música y colaborar.
“¿Cómo puede una persona que no puede hablar y moverse para componer o interpretar música, controlar lo que está sucediendo en el escenario o contactar a una audiencia en vivo? ¿Qué tal tocar junto a otros músicos, ensayados o improvisados? ¿Cómo podemos reducir las barreras para hacer que los programas de música escolar sean más inclusivos, sin separar o minimizar la participación de los niños con discapacidad? Nos impulsaba el deseo de encontrar respuestas a estas preguntas fundamentales, recuerda Paradiso. "Queríamos adaptar nuestra tecnología y diseño para que se ajustaran a los objetivos creativos y las situaciones de la vida real de la persona, y no al revés".
Lamb tuvo la idea de agregar soporte para la Interfaz Digital de Instrumentos Musicales (MIDI) para enviar diferentes señales a diferentes instrumentos, y esta idea luego se trasladó a Expressive Pixels.
“Cada vez que trabajamos en un nuevo objetivo, impulsamos la plataforma más allá”, dice Paradiso.
La plataforma Expressive Pixels está abierta a una amplia gama de personas creativas. Esta no es solo una comunidad de desarrolladores, sino también estudiantes que pueden desarrollar proyectos para ayudar a otras personas y aprender JavaScript usando Microsoft MakeCode . Según Jahnke, los MakeCodes suelen tener una cantidad muy pequeña de LED, por lo que las capacidades de visualización completas abren un amplio margen para que los estudiantes creen, experimenten y programen utilizando algo como pantallas Silicon Squared conectadas a un dispositivo MakeCode.
“Expressive Pixels brinda a los estudiantes una manera fácil de integrar la animación en la aplicación en sus programas MakeCode y creaciones de hardware con un mínimo de esfuerzo”, dice Jahnke.
La propia aplicación sabrá qué animaciones están almacenadas en el dispositivo, por lo que diferentes comandos harán que reaccione en consecuencia.
Este y otros proyectos de Enable en Paradiso reavivaron su pasión por la empresa en la que ha estado durante casi 20 años.
“Tanta gente se une, y muchos dedican su tiempo personal a trabajar por algo más grande que cada uno de nosotros por nuestra cuenta; inspira y se alinea con los valores y la misión de nuestra empresa, me hace feliz y me da Esperamos un futuro más inclusivo y creativo para todos ”, dijo Paradiso.
Expressive Pixels.