Embeddings et recherche sémantique
Un embedding est une liste de nombres, un vecteur, qui encode la signification d'un texte ou d'une image, de sorte que deux éléments de sens voisin obtiennent des vecteurs proches. La recherche sémantique convertit la requête en embedding et renvoie les passages stockés dont les vecteurs sont les plus proches, souvent selon la similarité cosinus. Elle trouve la page « mettre fin à votre formule » quand l'utilisateur a tapé « résilier mon abonnement ».
Pourquoi c’est important pour un PM
Les embeddings font tourner les assistants RAG, les recommandations d'éléments similaires, la détection de tickets en double et les barres de recherche qui comprennent l'intention. Le PM peut se passer des mathématiques, mais doit comprendre ce qui fait la pertinence : le découpage des documents, le modèle d'embedding, le filtrage et le classement des résultats, et la mesure de la qualité de recherche sur de vraies requêtes.
Exemple
Dans un wiki interne, une salariée cherche « congé parental ». La recherche par mots-clés ne trouve rien, car la page s'intitule « Politique famille ». La recherche sémantique la place en tête, les deux formulations ayant des embeddings proches, et un filtre limite les résultats aux pages de son pays.
Points clés
- Les vecteurs sont rangés dans une base ou un index vectoriel, généralement avec des métadonnées qui permettent de filtrer.
- La recherche sémantique peut rater des termes exacts comme une référence produit ou un nom propre ; la recherche hybride ajoute une correspondance par mots-clés, par exemple BM25.
- Une étape de reranking peut réordonner les premiers résultats avec un modèle plus précis.
- Changer de modèle d'embedding oblige à recalculer les vecteurs de tout le corpus.
Erreurs fréquentes
- Renvoyer les résultats les plus proches même quand aucun n'est pertinent, au lieu d'appliquer un seuil.
- Découper les documents en morceaux trop petits pour porter du sens, ou trop gros pour être précis.
- Croire que les droits d'accès sont respectés parce que la recherche est rapide et précise.
Pour aller plus loin dans Module
Les formations et les leçons qui traitent cette notion :