Open pavics for public access / update canarie registry

[huard]

Are there still show stoppers to get there ?

[Zeitsperre]

I've moved over the NCEP Reanalysis and all of CORDEX so far and am in the process of just putting the CCCMA CMIP5 data. Once that's done later today, I'll run the crawler and everything should be okay from my end.

[huard]

Good! But is that a requirement for opening up access ?

[Zeitsperre]

No, I suppose not. The one major issue I can see with pavics.ouranos.ca is that facet search is revealing no data, hence why we should probably run the crawler before public interacts with it. PAVICS was rebuilt yesterday so components are latest version.

[huard]

Agreed that's a show stopper for users, but a separate issue. I still suggest opening up to public as soon as problems outlined by Mourad are solved. Want to open separate tickets for all those issues ?

[Zeitsperre]

Sure thing. I won't open an issue for "no data" since running the crawler may solve the problem and I don't want to run it before the data is in. Will open issue about data transfer now.

[dbyrns]

@Zeitsperre and @moulab88 What is blocking this issue now? Can we move forward?

[huard]

One issue was changing the admin password to something stronger. Mourad is OK with the solution proposed by @dbyrns yesterday over the phone.

[dbyrns]

Ok so two tasks are now required:
-Change the admin password in the config file. Steps required :
stop, rm twitcher, magpie and postgres-magpie containers
flush the db located at /data/magpie_persist on the host
change the password in the config file
restart the container
create a user for the catalog crawler
change the config for the catalog in config/catalog/catalog.cfg
restart the catalog container
-Log into the canarie portal and set the entry point for our services to pavics.ouranos.ca

[moulab88]

Task one is done. I also execute the crawler to check if all is correct. It will take him a few hours to finish.

[dbyrns]

@moulab88 I don't know if you have the required access for the canarie registry (I don't). If not, @tomLandry has the key and should be able to get you started.

[moulab88]

No I don't have.

[dbyrns]

Before closing an issue we should request a verification from somebody else in the team to make sure that issue aren't close too soon and that they are fully done.
For now I understand that the CANARIE registry is still not updated so we must wait for that. Maybe @huard is better suited to do that?

[dbyrns]

@huard Il y a plusieurs urls de doc qui sont mal configurés pour le registre canarie.
Voir les liens contenu dans la page : https://pavics.ouranos.ca/canarie/
Ils doivent être mis à jour dans : https://github.com/Ouranosinc/PAVICS/blob/master/birdhouse/config/canarie-api/docker_configuration.py.template

@tomLandry Voici les routes à enregistrer auprès de canarie :
services :
node : https://pavics.ouranos.ca/canarie/node
indices : https://pavics.ouranos.ca/canarie/indices
bias : https://pavics.ouranos.ca/canarie/bias
renderer : https://pavics.ouranos.ca/canarie/renderer
slicer : https://pavics.ouranos.ca/canarie/slicer

platform :
pavics : https://pavics.ouranos.ca/canarie/pavics

@moulab88 , @ldperron
Le validateur mentionne délai dépassé (firewall bloqué?)
Voici comment les différentes routes précédentes peuvent être testé :
https://science.canarie.ca/researchsoftware/services/validator/service.html
https://science.canarie.ca/researchsoftware/services/validator/platform.html

Ceci est une urgence pour la démo de vendredi, les validateurs doivent être au vert.

[dbyrns]

La route stats aussi ne donne pas de résultat sur boreas : https://pavics.ouranos.ca/canarie/node/service/stats
Elle est basé sur un parser de log de nginx... Est-ce que le serveur proxy de boreas est monté différement?
Les infos contenu dans la config
DATABASE = {
'filename': '/opt/local/src/CanarieAPI/stats.db',
'access_log': '/var/log/nginx/access_file.log',
'log_pid': '/var/run/nginx.pid'
}
Servent au daemon à calculer les stats d'accès correctement.
@ldperron tu es peut-être le mieux placé pour répondre

[huard]

Je pense que c'est bon que @moulab88 soit aussi au courant pour les stats d'utilisation.

@dbyrns Pour les liens doc, tu voudrais que ça pointe sur les sections de la docum qui décrivent ces services plutôt que le point d'entrée de la doc ?

[dbyrns]

Le point d'entrée ça ne me dérange pas, mais pour l'instant la plupart des liens pointe vers des pages inexistantes.

[huard]

Ok, je corrige ça.
Pour le tryme, quelles sont les attentes de Canarie ?

[huard]

Aussi, en ce moment le supportEmail est [email protected]. Est-ce qu'on garde ça comme ça ou on remplace par [email protected] ?

[dbyrns]

@moulab88 si tu veux regarder pkoi le parser de log nginx ne semble pas fonctionner voici ce qui devrait se passer:
Le container docker de canarieapi lance au démarrage un cron job :
https://github.com/Ouranosinc/CanarieAPI/blob/master/canarieapi-cron

Qui fait appel à un parser :
https://github.com/Ouranosinc/CanarieAPI/blob/master/canarieapi/logparser.py

Qui scan les logs de nginx paramétré par la config :
https://github.com/Ouranosinc/PAVICS/blob/master/birdhouse/config/canarie-api/docker_configuration.py.template

Il s'occupe ensuite de faire la rotation des logs en envoyant le signal SIGUSR1au pid de nginx.

[tomLandry]

@huard : try me ça peut être une section de la documentation, un vidéo explicatif ou un tutoriel sur un sandbox. Ca a jamais été vraiment enforcé comme un point chaud où faut avoir une démo dispo pour tout le monde. Un "contact us for a demo" marcherait possiblement, quoique un peu cheap.

[ldperron]

Le courriel de support devrait être correct sur Boreas. Je l'ai géré dans pavics-compose.sh, via la variable SUPPORT_EMAIL

[moulab88]

J'ai rajouté une ligne vide à la fin de /etc/cron.d/canarieapi-cron.
Ça semble débloquer maintenant.

[dbyrns]

Super ! Les stats sont de nouveaux disponibles.
Je vois maintenant 2 problèmes:

1. Up but returning unexpected response : Bad return code from https://pavics.ouranos.ca/magpie/groups (Expecting 200, Got 403
   Effectivement il faut maintenant des droits pour obtenir les groupes... il faudra revoir ce test

2. Up but returning unexpected response : Bad response content from http://pavics.ouranos.ca:8983/solr/birdhouse/select?q=CMIP5&wt=json (Expecting : .catalog_url":".+birdhouse/CMIP5/CCCMA/CanESM2/rcp85/day/atmos/r1i1p1/pr/catalog.xml. Got : {"responseHeader":{"status":0,"QTime":1,"params":{...
   Celui-ci est relié au contenu de solr... Il faudrait modifié le test pour fitter avec le contenu actuel de solr du côté d'ouranos.

Je n'ai pas accès au port 8983, il faudrait donc que @moulab88 s'occupe de l'erreur #2... je peux faire la #1

[dbyrns]

@moulab88 pour le #2 j'ai compris la subtilité... chez-vous les données CMIP5 sont directement sous birdhouse/CCCMA donc je vais templater la source.

[moulab88]

Ok.

[dbyrns]

For reference : https://github.com/Ouranosinc/PAVICS/pull/74

[moulab88]

L’accès à pavics.ouranos.ca est maintenant ouvert pour l’extérieur.

[huard]

Yé !

[Balinus]

Je suis de la maison et je n'arrive pas à charger pavics.ouranos.ca. Simplement la propagation DNS?

[ldperron]

Ça fonctionne si on met https://

[Balinus]

Pas de chez nous.
https://pavics.ouranos.ca/

Je réessaie demain.

[dbyrns]

J’ai fait les tests sur :
https://science.canarie.ca/researchsoftware/services/validator/service.html
avec : https://pavics.ouranos.ca/canarie/[service_name]

et sur :
https://science.canarie.ca/researchsoftware/services/validator/platform.html
avec : https://pavics.ouranos.ca/canarie/pavics

et on passe haut la main.
Reste juste à enregistrer les urls.

[moulab88]

@Balinus Peux-tu faire: dig pavics.ouranos.ca

[Balinus]

proy@pop-os:~$ dig pavics.ouranos.ca

; <<>> DiG 9.10.3-P4-Ubuntu <<>> pavics.ouranos.ca
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: SERVFAIL, id: 57425
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 65494
;; QUESTION SECTION:
;pavics.ouranos.ca.		IN	A

;; Query time: 0 msec
;; SERVER: 127.0.0.53#53(127.0.0.53)
;; WHEN: Thu May 17 14:58:11 EDT 2018
;; MSG SIZE  rcvd: 46

[ldperron]

et : dig pavics.ouranos.ca @8.8.8.8 ?

[Balinus]

Ça semble bon!

; <<>> DiG 9.10.3-P4-Ubuntu <<>> pavics.ouranos.ca @8.8.8.8
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 11710
;; flags: qr rd ra; QUERY: 1, ANSWER: 2, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 512
;; QUESTION SECTION:
;pavics.ouranos.ca.		IN	A

;; ANSWER SECTION:
pavics.ouranos.ca.	21599	IN	CNAME	boreas.ouranos.ca.
boreas.ouranos.ca.	21599	IN	A	207.162.87.155

;; Query time: 66 msec
;; SERVER: 8.8.8.8#53(8.8.8.8)
;; WHEN: Thu May 17 15:03:15 EDT 2018
;; MSG SIZE  rcvd: 83

[ldperron]

qqch ne va pas avec la configuration DNS sur pop-os donc. Ça semble être un Ubuntu sous dnsmasq... peut-être que le redémarrer va régler le problème.

[Balinus]

Bon désolé, l'erreur est vraiment de mon côté. Je viens de me souvenir que je me suis connecté sur le vpn d'Ouranos ce matin. Je viens de me déconnecter et ça fonctionne! 👍

edit - Super job en passant! :)