Music2Dance: cómo intentamos aprender a bailar

¡Hola a todos! Mi nombre es Vladislav Mosin y soy un estudiante de cuarto año del programa de Licenciatura en Matemáticas Aplicadas e Informática en el HSE de San Petersburgo. El verano pasado, junto con Alina Pleshkova, una estudiante graduada de nuestra facultad, hice una pasantía en JetBrains Research. Trabajamos en el proyecto Music2Dance, cuyo objetivo es aprender a generar movimientos de baile que se ajusten a la música dada. Esto se puede usar, por ejemplo, en el autoestudio del baile: escuché la música, lancé la aplicación y mostró movimientos que combinan armoniosamente con esta música.

De cara al futuro, diré que nuestros resultados, lamentablemente, resultaron estar lejos de los mejores modelos de generación de movimiento que existen ahora. Pero si también estás interesado en solucionar este problema, te invito a cat. 

. , — Dance Dance Revolution, , . — 2D-. 

C — 3D- . . 2020 DanceNet, . .

: , , . .

: onset, beats, chroma

, — — . , , , . , onset, beats chroma ( , ).

:  

. — — . , , , -. , (, 240x240) . 

, . , . , , , , . 

( ), .

. , 3D-, : , . , , . : , .

DanceNet

DanceNet coc : 

• ;

  
  
  
  
  

• ;

  
  
  
  
  

• ;

  
  
  
  
  

• ;

  
  
  
  
  

• .

  
  
  
  
  

:

1. . Bi-LSTM .

   
   
   
   
   

2. . , Bi-LSTM .

   
   
   
   
   

3. - . .

   
   
   
   
   

4. . , . dilated () -.

   
   
   
   
   

DanceNet , , — , , .

, , . , . , , , . . , .

:

• 
  
  
  
  

• (DanceNet)

  
  
  
  
  

• (RL )

  
  
  
  
  

• 
  
  
  
  

. 2020 , . , , . , . , - . , : YouTube VIBE.

DanceNet

— , -, , -, .

RL

RL — , . ( ) , . 

. : .

, Q-Learning ( TD3, ) ( PPO). 

, . -, , . , , , . Humanoid, , .

, , .

S — , S_real — , R — .

, , , . , . .

, , DanceNet. , , , , . . , — YouTube , RL .

. !

---

:

• 10 BERT- ?

  
  
  
  
  

• ! Gym-Duckietown

  
  
  
  
  

• Google: ,

  
  
  
  
  

---