Modèle v0.4

[lissyx]

Bloqueurs :

• Mettre à jour le fork DeepSpeech sur master / v0.7.0 Mettre à jour le fork DeepSpeech sur master / v0.7.0 #89
• Intégrer Common Voice Français v3 (release fr_412h_2019-12-10) Intégrer Common Voice Français v3 (release fr_412h_2019-12-10) #90
• Améliorer le filtrage de Common Voice v3 Améliorer le filtrage de Common Voice v3 #99
• Optimisation du modèle de langue en limitant aux mots les plus fréquents Limitation de la taille du LM #96
• Génération du LM Générer le modèle de langage avec generate_lm.py #83
• Partager le best_dev Utiliser et packager le checkpoint best_dev #94
• Exports depuis best_dev Exporter les modèles depuis le best_dev #95 (prêt mais attends un patch sur DeepSpeech)
• Comparaison Common Voice v3 FR -- Duplicatas Comparaison Common Voice v3 FR -- Duplicatas #102

Non bloqueurs :

• Augmenter le corpus de son avec de nouveaux jeux de données Augmenter le corpus de son avec de nouveaux jeux de données #91
• Expérimenter avec les augmentations (pitch, noise) Expérimenter avec les augmentations (pitch, noise) #92

[lissyx]

Plus ou moins tout est bouclé, j'essaie de comprendre pourquoi comme expliqué dans #102 le code exporte un peu trop tôt, parce que du coup c'est difficile de bien avoir quelque chose de reproductible.

[lissyx]

Plus ou moins tout est bouclé, j'essaie de comprendre pourquoi comme expliqué dans #102 le code exporte un peu trop tôt, parce que du coup c'est difficile de bien avoir quelque chose de reproductible.

Ça semble être un effet de bord de l'utilisation de automatic_mixed_precision. Quand on est à faire une release, ça semble bien de le désactiver.

[lissyx]

La désactivation de automatic_mixed_precision permet bien d'avoir un dev loss plus stable, et un point de sélection du "best dev model" à la même étape du processus d'entraînement.

[lissyx]

J'ai fait plein d'essais avec des dropout différents, 0.25, 0.40, 0.45 mais rien qui n'améliore sérieusement les choses.

[lissyx]

https://github.com/Common-Voice/commonvoice-fr/releases/tag/v0.6.0-fr-0.4