Cómo funciona la búsqueda de imágenes de Dropbox

Si necesita encontrar una foto tomada en un picnic hace unos años, difícilmente puede recordar el nombre que la cámara asignó automáticamente al archivo en el momento del disparo, por ejemplo, 2017-07-04 12.37.54.jpg . Miras a través de todo - fotografías, sus bocetos, tratando de identificar objetos o signos de lo que estás buscando - y no importa si estás buscando una foto perdida o quieres encontrar una foto decente en los archivos para la presentación de un nuevo proyecto.

¡Sería genial si Dropbox pudiera ver de forma independiente todas las imágenes y seleccionar las que mejor coincidan con las palabras de la descripción! Esta es exactamente la tarea que nos propusimos al crear la función de búsqueda de imágenes .

, Dropbox , , , , Dropbox .

---

, , , Dropbox.

: , () q j, s , , :

s = f(q, j).

- , , . : .

, . , . 

:

• , , ;

  
  
  
  
  

• , , ;

  
  
  
  
  

• , , - .

  
  
  
  
  

— 2012 . Krizhevsky . ImageNet hallenge. , , , , Open Images ImageNet, , TensorFlow PyTorch, , . , :

, , . , , , , , ? , ?

, , , .

. j_c . C- , C — ( ). , , , .

— . — word2vec — Mikolov . 2013 . Word2vec , , , , . d- , d .

, word2vec. , , :

1. q d- q_w, . w, — c.

   
   
   
   
   

2. cⁱ_w. m̂i = q_w - cⁱ_w — i- . -1 1 , . ( mi = max(0, m̂i)), , .

   
   
   
   
   

3. , q_c = [m1 m2 ... mC], C- , , — , , .

   
   
   
   
   

3 — - , q_c = q_wC, C — cⁱ_w.

q_c — s = q_cj_c.

. . - , s = q_cJ, J j_c , s — .

. , — : , , .

, . , [0,35–0,62 0,70], .

, .

  EfficientNet, OpenImages. 8 500 . , . , Dropbox.

TensorFlow   ConceptNet Numberbatch. , , , , . : dog chien , .

AND, . , , beach ball, . , OR , beach ball (beach AND ball) OR (beach ball). , .

, , J . , , , , . ().

J , Dropbox Nautilus.

, Nautilus (forward index), (, ) , (inverted index), (posting list) , . :

, doc_1 doc_2 , . doc_3 , , . 

, , . doc_1 , doc_2, doc_1 .

. j_c . .

, :

1. q_w C q_c, . C — , , .

   
   
   
   
   

2. , q_c, . , , .

   
   
   
   
   

3. j_c q_c, s. , .

   
   
   
   
   

- , . 10 000 10 000 , 40 . , 10 000 . , 40 80 . , , !

, , , , m̂i , 5 000 . , 10 .

, , , . s = q_cj_c, q_c — 10 000 , j_c — 10 000 , . , s. 

q_c j_c , . , 10 q_c 50 j_c . :

• 10 000- 50 , 50 . ; 50 ( ) 50 ( ) 300 .

  
  
  
  
  

• 10 000, 50 , 200 . , 500 80.

  
  
  
  
  

• q_c 10 , 10 — . , .

  
  
  
  
  

, . , , , — .

-. , OCR- , .

?

, , Dropbox. . , , . , , , , , " , " .

, , . , "Machine Learning Deep Learning", NVIDIA.

, :

• Data Scientist

  
  
  
  
  

• Data Analyst

  
  
  
  
  

• Data Engineering

  
  
  
  
  

• Fullstack- Python

  
  
  
  
  

• Java-

  
  
  
  
  

• QA- JAVA

  
  
  
  
  

• Frontend-

  
  
  
  
  

• 
  
  
  
  

• C++

  
  
  
  
  

• Unity

  
  
  
  
  

• -

  
  
  
  
  

• iOS-

  
  
  
  
  

• Android-

  
  
  
  
  

• Machine Learning

  
  
  
  
  

• "Machine Learning Deep Learning"

  
  
  
  
  

• " Data Science"

  
  
  
  
  

• " Machine Learning Data Science"

  
  
  
  
  

• "Python -"

  
  
  
  
  

• " "

  
  
  
  
  

• 
  
  
  
  

• DevOps