Developer contest 2020 per progetti open source che utilizzano il modello di lingua italiana (esempi su DeepSpeech per lo sviluppo nel readme del progetto con il repo degli esempi).
Il contest è organizzato dalla comunità Mozilla Italia, costituita da volontari che si occupano di tradurre, promuovere, fare supporto e molto altro per i progetti Mozilla.
Per questo il contest è informale ovvero, senza certificati di partecipazione (non siamo un entità legale) ma solo tanta voglia di collaborare e divertirsi utilizzando tecnologie open source per invogliare a partecipare nelle attività della comunità.
DeepSpeech o DS è il progetto di Mozilla che sfruttando dei dataset genera un modello di riconoscimento vocale. La nostra comunità si occupa di realizzare gli script e di rilasciare il modello di lingua italiana.
Per tale progetto utilizziamo dataset di pubblico dominio o che la licenza ci permette di aggregarli in modo tale da non permettere la creazione del materiale originali evitando complicazioni legali, essendo il nostro progetto rilasciato a sua volta open source.
Common Voice o CV è il progetto di Mozilla per la raccolta di registrazioni vocali (scaricabili) di pubblico dominio, la nostra comunità organizza sprint mensili online per arricchire il materiale oltre che fare promozione.
La storia del modello è disponibile in inglese come articolo o presentazione al Fosdem 2020 oppure in italiano in versione breve.
Il modello è realizzato con il supporto dell'università di Torino che ci ha dato un server da utilizzare.
La premessa è di utilizzare il modello, alcuni esempi: videogioco a comandi vocali (anche integrazione ad un gioco esistente), un dettatore automatico per LibreOffice, assistente vocale su Raspberry Pi per il controllo dei sensori, controllo vocale del sistema operativo per disabili ecc.
- Periodo: 6 ottobre/15 novembre
- Partner
- Il subreddit https://www.reddit.com/r/italyinformatica sarà partner del contest:
- Il subreddit sarà utilizzato per le discussioni riguardo il progetto, status per settimana ecc
- Il subreddit https://www.reddit.com/r/italyinformatica sarà partner del contest:
- Giuria
- Mozilla Reps Italiani: @Mte90, @edovio, @Sav22999 @astrastefania
- Repo modello mantainer: @mone27, @nefastosaturo
- Moderatori di /r/italyinformatica
- Criteri di valutazione
- I singoli progetti verranno valutati per il loro funzionamento (anche in formato prototipo secondo i limiti della tecnologia), replicabilità e secondo il parere/gusto della giuria
- Scopo
- Realizzare dei progetti che sfruttino il modello italiano DeepSpeech nelle varie versioni rilasciate (consigliamo quello con transfer learning da lingua inglese che è migliore)
- Tali progetti devono essere rilasciati come open source (tecnologie libere) su GitHub/GitLab/ecc, includere una documentazione d'uso e una licenza (open source)
- Il progetto può essere in italiano o inglese
- Fortemente raccomandato un video di dimostrazione su YouTube o similari per la presentazione definitiva del suo funzionamento e da includere il link nel progetto stesso
- Articoli su blog (ad esempio) sul modello, sul progetto o contributi al repository del modello (dal corpus testuale al resto) sono apprezzati
- Come applicare
- Creando un ticket su questo repository da compilare con il link al repository del progetto ed un contatto Telegram/Twitter/Facebook
- Per la fine del periodo deve essere presente nel repository il link al video
- Chat
- Disponibile tramite il bot @MozItaBot per Telegram utilizzando il gruppo Developers del supporto più tecnico
- 1° classificato: maglietta (massimo di 3 a seconda del team), adesivi sfusi
- 2° classificato: una maglietta, adesivi sfusi
- 3° classificato: collapsible cup brandizzata Mozilla, adesivi sfusi
- progetti scelti: adesivi sfusi
I premi verranno poi spediti successivamente quindi è necessario avere un contatto funzionante.
Sono stati presentati (e reputati validi) 5 progetti. Sono tutti dei progetti belli e interessanti, tuttavia la giuria* ha valutato i "migliori" secondo alcuni parametri:
- User-friendly: quanto è facile utilizzare il progetto, se ha un'interfaccia ad esempio;
- Estensibilità: quanto il progetto possa essere esteso, anche per futuri utilizzi;
- Documentazione: quanto, e se, il progetto è stato documentato in maniera corretta;
- Chiarezza del codice: quanto il codice è chiaro, quindi ben strutturato e ordinato;
- Originalità: se il progetto è originale oppure esiste già qualcosa di simile nel mercato;
- Valutazione soggettiva (del giurato): un giudizio soggettivo generale sul progetto.
La valutazione di questi parametri consisteva nel date un voto da 0 a 10, dove 0 indicava "Pessimo" e 10 "Eccellente", oppure indicare "Mi astengo" (questo giudizio non andava a intaccare nella media del progetto).
Per ogni parametro, inoltre, ogni giurato ha inserito una motivazione per il quale ha espresso quello specifico giudizio. Per questioni di privacy è stato deciso, almeno ufficialmente, di non pubblicare il resoconto di ogni singolo membro della giuria relativo ai singoli progetti, piuttosto è stato stilato un unico resoconto nel quale è presente una motivazione generale (riassunto delle motivazione dei singoli giurati), la media per ogni singolo parametro e la media generale.
È possibile scaricare la panoramica generale, ovvero la lista dei vincitori con la relativa media assoluta, tramite questo link: Classifica Generale.
*@edovio per problemi personali non ha potuto partecipare alla valutazione dei progetti.
La classifica è la seguente:
| Posizione classifica | Nome progetto | Issue | Media valutazione | Link progetto | Link valutazione progetto |
|---|---|---|---|---|---|
| 1° | Faber-JS | #2 | 8,21 | https://github.com/nicosh/faber-js | 1° classificato |
| 2° | Bard the Bot | #1 | 8,12 | https://github.com/Vincenzo-Petrolo/Bard-the-bot | 2° classificato |
| 3° | another-one-the-game | #3 | 7,53 | https://github.com/dag7dev/another-one-the-game | 3° classificato |
| 4° | Watson assitant from Telegram with speech to text | #5 | 7,27 | https://gitlab.com/_Zaizen_/pecore-elettriche | 4° classificato |
| 5° | Android DeepSpeech-Mycroft companion app | #4 | 6,03 | https://github.com/kamir86/MycroftDeepspeechCompanionApp | 5° classificato |
In realtà è possibile scaricare i PDF dei risultati anche andando in "release" su questo specifico repository.