Mise à jour de TAXREF-LD

[jonquet]

Il s'agit de mettre a jour TAXREF-LD dans AgroPortal:
http://agroportal.lirmm.fr/ontologies/TAXREF-LD
Nous sommes à la version 10.
Il manque la 12, 13 et 15.1

https://github.com/frmichel/taxref-ld

@frmichel et @antool avait vu ensemble comment passer des fichier sources de TAXREF-LD a une version chargeable dans AgroPortal. Il faut refaire le point sur ce processus pour si possible l'automatiser.
@frmichel peut produire une nouvelle version "chargeable dans AgroPortal (avec une URL fixe sur GitHub par exmeple) mais il faut qu'on revoit ensemble le travail fait pour charger la premiere fois la resources dans AgroPortal.

[jonquet]

Discussion avec @frmichel ce jour:

Nous continuerons à héberger dans AgroPortal la taxonomie de TAXREF-LD représentée en OWL. La nomenclature (représentée en SKOS) est présente dans le fichier mais sa hiérarchie ne s'affiche pas. La distribution principale contenant qq 2Gb de données TTL, nous passerons par une distribution plus légère pour AgroPortal qui ignorera les Xrefs et les status.

• Ecrire un petit script en bout de chaine de traitement pour produire une distribution spécifique de TAXREF-LD un peu plus légère que la distribution principale déposée sur Zenodo. Elle contiendra que les repertoires sen bleu:

• Produire une URL fixe (indépendante des versions) pour héberger cette distribution
• Charger la nouvelle version (15.1) dans AgroPortal avec la "pull location"
• Vérifier/corriger la métadonnées dans AgroPortal et noter la difference de niveau de FAIRscore

[jonquet]

Pour mémoire le FAIRscore de TAXREF-LD ce jour

[frmichel]

@jonquet, je viens de mettre à jour les metadata mais l'interface n'accepte pas de charger le fichier depuis une URL. Dans les 2 cas ci-dessous, l'interface répond que le fichier n'existe pas :
http//taxref.i3s.unice.fr/~fmichel/taxrefld_singlefile_agropportal.zip
http//taxref.i3s.unice.fr/~fmichel/taxrefld_singlefile_agropportal.ttl
Une idée ?

[jonquet]

La pull location était corrompue (sans : et avec local dedans)

J'ai corrigé cela et vais lancer le parsing manuellement.
http://data.agroportal.lirmm.fr/ontologies/TAXREF-LD/submissions/2?display=pullLocation

[jonquet]

Ok le fichier est bien récupéré par AgroPortal désormais.
Erreur OWL-API lors du parsing

Vérifiée dans le fichier source:

@frmichel PAs besoin de modifier la submission chez AgroPortal a nouveau. Juste dis moi quand le fichier est corrigé à la pull URL je relancerai le parsing qui relancera le téléchargement.

[frmichel]

@jonquet: Aouch. Le pire c'est que j'ai testé avec Protégé sans erreur. Mais je crois que Corese n'a pas dû tout charger à cause de la taille.
J'en ai trouvé d'autres du coup. Peux-tu réessayer stp ?

[jonquet]

Je vois tjrs qq chose :

-------------------------------------------------------------------------------- Parser: org.semanticweb.owlapi.rdf.turtle.parser.TurtleOntologyParser@72ab05ed Stack trace: org.semanticweb.owlapi.rdf.turtle.parser.ParseException: Encountered "" at line 44410, column 21.

[frmichel]

@jonquet arg désolé. Tu px essayer à nouveau?

[jonquet]

J'ai encore des bugs :

org.semanticweb.owlapi.rio.RioParserImpl : org.semanticweb.owlapi.formats.RioTurtleDocumentFormatFactory@95fd655c\n\n    Stack trace:\n\norg.eclipse.rdf4j.rio.RDFParseException: Invalid IRI 'https://gdz.sub.uni-goettingen.de/id/PPN605437475_0003?tify={%22pages%22:[153],%22view%22:%22info%22} [line 16694] 

effectivement le fichier contient :

 schema:sameAs <https://gdz.sub.uni-goettingen.de/id/PPN605437475_0003?tify={%22pages%22:[153],%22view%22:%22in
fo%22}> ;
      foaf:page <https://gdz.sub.uni-goettingen.de/id/PPN605437475_0003?tify={%22pages%22:[153],%22view%22:%22info%2
2}> .

[frmichel]

Bon je change de stratégie et je te redis parce que là ça va nous énerver tous les 2.

[frmichel]

Salut @jonquet, j'ai fait un bout de code pour charger ça avec OWLAPI 5.1.20 et je n'ai pas d'erreur.

As-tu moyen de connaître la version exacte de l'API utilisée ?
D'ailleurs est-ce bien OWLAPI (https://github.com/owlcs/owlapi) ? Il me semble me rappeller qu'il existe 2 API différentes avec des noms très proches.

[syphax-bouazzouni]

Bonjour, Je suis l’ingénieure en charge du projet Agroportal. Nous utilisant dans notre backend la version 4.5.17 de owlapi (voir la dependence dans notre code ici <https://github.com/ontoportal-lirmm/owlapi_wrapper/blob/master/pom.xml#L84>) Nous utilisant un peu près la meme version que protégé <https://protege.stanford.edu/> (ils utilisent la version 4.5.19) , nous vous conseillons donc de juste essayé d’ouvrir votre ressource avec protégé si ca marche avec sa sera sûrement aussi le cas pour nous. Clement entend actuellement en congé, je reste de mon coté disponible pour vous assister dans votre utilisation d'Agroportal. Bonne journée a vous,

…

Le 28 févr. 2022 à 12:00, Franck Michel ***@***.***> a écrit : Salut @jonquet, j'ai fait un bout de code pour charger ça avec OWLAPI 5.1.20 et je n'ai pas d'erreur. As-tu moyen de connaître la version exacte de l'API utilisée ? D'ailleurs est-ce bien OWLAPI (https://github.com/owlcs/owlapi) ? Il me semble me rappeller qu'il existe 2 API différentes avec des noms très proches. — Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you are subscribed to this thread.

[frmichel]

Merci @syphax-bouazzouni, j'ai pu reproduire le pb avec cette version de l'API donc je peux avancer.

Cela veut dire qu'entre la 4.5.17 et 5.1.20 OWLAPI est devenue plus tolérante sur le format des URI. Ce serait bien de mettre dans la TODO list de Agroportal l'upgrade de OWLAPI du coup.

Par contre impossible d'utiliser Protégé car mon ontologie est très grosse, Protégé finit par "exploser" malgré un heapspace à 4GB.

[frmichel]

@jonquet: Clément, cette fois ça devrait être bon Inch'allah! Je charge l'intégralité avec OWLAPI 4.5.17 sans erreur.
Au choix :
https://taxref.i3s.unice.fr/~fmichel/taxrefld_singlefile_agropportal.zip
https://taxref.i3s.unice.fr/~fmichel/taxrefld_singlefile_agropportal.ttl
Merci Syphax.

[syphax-bouazzouni]

Oui c'est bon, votre ressource parse bien.

Cependant nous avant maintenant un autre problème de notre coté chez Agroportal (voir detail ici ontoportal-lirmm/ontologies_linked_data#15).

Nous corrigeront cela et vous tiendront au courant dés que votre ressource sera disponible sur Agroportal

[frmichel]

Bonjour Syphax, du nouveau pour l'import ? Avez-vous pu régler vos pbs ?

[syphax-bouazzouni]

Bonjour @frmichel,

Bonne nouvelle on a enfin réussi à parser TAXREF-LD et l'insérer sur notre triple store, pour le moment c'est sur note instance de test/stage => http://stageportal.lirmm.fr/ontologies/TAXREF-LD

Je vous invite à consulter la hiérarchie générée => http://stageportal.lirmm.fr/ontologies/TAXREF-LD/?p=classes&conceptid=root et à nous faire un retour; elle nous semble un peu bizarre avec beaucoup de TAXON (comme noeud parent) avec juste l'ID sans autre information.

[frmichel]

Bonjour @syphax-bouazzouni, merci pour ce travail !

Donc première chose intéressante, en effet il y a un paquet de taxons sans aucune info. J'ai vérifié, c'est bien ce qui a été généré au départ donc l'erreur est de notre côté. Pour relativiser, il n'y en a "que" 343, c'est flagrant sur l'interface mais dans la pratique c'est de l'ordre de 1% des taxon. Je me note ça pour action.

[jonquet]

@frmichel Je me suis permis de garder ici dasn cet issue les questions relative au chargement de TAXREF-LD dans AgroPortal. J'ai crée agroportal/fairness#28
Pour discuter du resultat de O'FAIRe sur TAXREF-LD.

[syphax-bouazzouni]

I close as resolved
We will open a new one if a new version is available and didn't parse (we hope not)
FAIR discussions will be followed here agroportal/fairness#28