¡Hola, Habr! Mi nombre es Alisa Neveikina y trabajo para una startup de Belarus SmartCoders. Nos dedicamos al desarrollo de redes neuronales y soluciones basadas en inteligencia artificial para empresas. Este post es el resultado de una profunda reflexión sobre las características del desarrollo de proyectos utilizando machine learning, así como los modelos de monetización de estas tecnologías. Si ya ha trabajado con IA o tiene previsto hacerlo, le invito a unirse a la discusión.
El desarrollo de la IA está determinado por los algoritmos que están integrados en la red neuronal. Sin embargo, solo pueden verificarse basándose en cantidades significativas de datos. Si estamos hablando de un sistema ya rodado que ha pasado el bautismo de fuego al menos en una de las empresas, entonces todo está claro. Pero, ¿qué hacer cuando la red neuronal necesita datos "como el aire" para demostrar su viabilidad?
Comenzamos a trabajar como contratistas en varios proyectos, cumpliendo con las tareas del cliente. Así surgió la solución para el proyecto Salary2.me, que ayuda a determinar el salario real de un trabajador de TI en Moscú, Kiev, Minsk y en muchas ciudades europeas.
Pero para reclamar la universalidad, estas tecnologías carecen de aprendizaje automático en conjuntos de datos existentes.
¿Dónde puedo obtener datos para el aprendizaje automático?
En la etapa de desarrollo de los propios algoritmos, puede utilizar algún tipo de conjuntos de datos sintéticos. Sin embargo, esto no es suficiente para mejorar aún más las funciones de la IA. Necesitamos conjuntos de datos en vivo para encontrar casos de esquina, verificar cómo se comportan los algoritmos en diferentes muestras, etc. Pero conseguir un conjunto así no resulta tan fácil, porque:
Todos temen a la privacidad de los datos
, , , , -. , .
— . ? , , .
, . , . .
?
, “” . , , . -, , . — , , . “ ”.
,
- - , . , , , . ?
- , , , , . - . , . , ?
- , . , , , “” .
, . , , fine tuning .
, , . , , , . .