Suggester - stopwords inactifs

[AnneHuSKa]

Describe the bug

En testant le suggester des PCS dont les stopwords contiennent DANS, j'ai parmi les échos :

Or dans est un stopwords donc l'écho ne devrait pas sortir me semble-t-il ?

But ultérieur : ajouter des stoopwords sur les communes et les département également mais à court terme, permettre une recherche PCS plus efficace.

To Reproduce

Question SUGGPCS de lvpb6ks2 en prod.

Expected behavior

Avoir moins d'échos et plus pertinents

Screenshots

Version where the bug appeared

Lunatic : 3.4.4 ou avant

Browser where the bug was tested

• Firefox

Additional context

Tâches

• couche de test sur l'existant (dossier: https://github.com/InseeFr/Lunatic/tree/3.0/src/utils/search), surtout le tokenizer (13 pt)
• ajouter la fonctionnalité stopWord (5 pt)
• lister les fonctionnalités manquante (par rapport version 2.6) (3 pt)

[JulienCarmona]

Hello @laurentC35 ,

Besoin d'une estimation pour le prochain sprint, car cela risque d'être assez urgent

[laurentC35]

On a oublié plein de méthode dans le refacto vers la 3.0
cf: https://github.com/InseeFr/Lunatic/blob/2.6/src/utils/suggester-workers/commons-tokenizer/create-entity-tokenizer.js#L19

voir le poc pour voir ce qu'on peut utiliser : #828

Actuellement dans la 3.0: https://github.com/InseeFr/Lunatic/tree/3.0/src/utils/search

Recherche à partir de seulement 3 caractères (>2): https://github.com/InseeFr/Lunatic/blob/3.0/src/utils/search/SearchMinisearch.ts#L44

[laurentC35]

@JulienCarmona Au vu de l'estimation, on pourrait faire appel à Jonathan.
En revanche, en tant qu'équipe on souhaiterait avoir la maîtrise de cette partie là (seule Jonathan et un bout de Renaud là).
L'estimation prend en compte la montée en compétence de l'équipe sur le fonctionnement des suggesters dans Lunatic.

On pourrait donc réduire le coût en travaillant de pair avec lui tout en montant en compétence sur le sujet suggester.

[JulienCarmona]

@JulienCarmona Au vu de l'estimation, on pourrait faire appel à Jonathan. En revanche, en tant qu'équipe on souhaiterait avoir la maîtrise de cette partie là (seule Jonathan et un bout de Renaud là). L'estimation prend en compte la montée en compétence de l'équipe sur le fonctionnement des suggesters dans Lunatic.

On pourrait donc réduire le coût en travaillant de pair avec lui tout en montant en compétence sur le sujet suggester.

Très bonne idée !

• Est-ce que tu es autonome pour prendre contacte avec Jonathan et lui demander de faire le boulot avec vous ? Ou faut qu'on s'organise avec Anne ?
• Est ce que les 21pts ca comprends le taff de Jonathan ? Si jamais il nous aide on pourrait déduire sa charge de l'estimation car il est pas dans notre sprint en tant qu'acteur. A discuter avec Antoine.

[JulienCarmona]

A redécouper

[QRuhier]

Pour validation : https://inseefr.github.io/Lunatic/storybook-3.0/?path=/story/components-suggester--default

Le suggester de la question sur la PCS comporte des stopwords :

• liste de stopWords pour ce suggester : https://github.com/InseeFr/Lunatic/blob/3.0/src/stories/suggester/source.json#L120
• nomenclature utilisée : https://github.com/InseeFr/Lunatic/blob/3.0/public/L_PCS_HOMMES-1-5-0.json

[QRuhier]

à reprendre : les stopwords sont actuellement complètement exclus de la recherche (une recherche "dans" ne trouvera aucun echo)

[lailabent]

Done suite à recette dans le storybook par rapport à la demande initiale
Côté métier on va étudier la note récap faite par @QRuhier , on ne s'interdit pas de faire de nouvelles demandes ultérieurement

[JulienCarmona]

Release 3.4.8 a mettre dans les orchestrateurs

[JulienCarmona]

Remarque :

• stopWords ne semble pas marcher sur les mots en deuxième position. Côté métier on est ok avec ce comportement donc si personne se plaint on laisse comme ça

[QRuhier]

C'est à dire ? Preneur si tu as un exemple qu'on puisse se le noter ;-)