-
-
Notifications
You must be signed in to change notification settings - Fork 41
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
evolution dgfip -> plus de FANTOIR en 2022, remplacé par TOPO #345
Comments
https://georezo.net/forum/viewtopic.php?pid=349671#p349671 a aussi potentiellement des infos. |
Bonjour, Du coup plus forcement urgent... |
Bonjour, Vu pour la dernière publication juillet 2022 mais il faut construire l'avenir. "On" m'a dit justement confirmé dans l'oreillette que dans le cadre de la BAN un fichier FANTOIR sera reconstruit à partir des données TOPO et sera mis en téléchargement. Probablement ici. |
Mise à jour de août 2022 sur : https://www.data.gouv.fr/fr/datasets/objet-disparition-des-fichiers-fantoir-fimoca-et-fimoct-en-fevrier-2023-mise-en-place-des-fichiers-topo-structures-uamissions-competences-et-acheminement/
|
jeté un oeil au contenu de https://adresse.data.gouv.fr/data/fantoir/fantoir-2023-04.gz, c'est un seul fichier gzippé avec a priori (pas creusé) la meme structure que FANTOIR, mais avec les données pour la france entière (1go décompressé) alors qu'auparavant c'était région par région ou département par département. comme les fichiers fonciers, il y'a une ligne d'en-tete et une de pied de page a faire sauter, et pour les autres lignes les 6 premiers caractères correspondent a dept+direction+insee, donc pour avoir "uniquement les données nous concernant" il faut filtrer. Enfin bref, le principe est le meme que pour les autres fichiers MAJIC.
|
J'ai trouvé ça il y a quelques jours mais pas d'infos précises de dates.... |
Well well well. Alors sur https://www.collectivites-locales.gouv.fr/mise-en-ligne-des-fichiers-fantoir-2023 on peut bien télécharger les fichiers FANTOIR 2023. 1 fichier ZIP par région administrative. Ce fichier ZIP contient n fichiers FANTOIR départementaux. Donc on peut encore utiliser ça cette année ?! Alors que c'est censé ne plus exister ? Et ils sont où les nouveaux fichier TOPO ? |
La DGFiP vient de publier les fichiers suivants :
|
Le nouveau Fantoir (TOPO) est devenu un foutoir apparemment...plus la même structure qu'avant : FANTOIR (2023):
TOPO (2024) :
|
en pratique, on fait quoi ?
|
pour faire un mapping de TOPO vers FANTOIR, il faut:
pour 1 ce n'est pas 'extreme', car il y'a un opendatasoft avec une API sur https://data.economie.gouv.fr/explore/dataset/topo-fichier-des-entites-topographiques, donc p.ex si je veux extraire uniquement les enregistrements sur la region rhone alpes (mon cas d'usage pour le CRAIG) je peux filtrer sur le debut du champ par contre il y'a peu de champs dans TOPO par rapport a tous ceux qui etaient dans fantoir, on en retrouve certain mais pas tous, a voir si ceux qui manquent étaient 'nécessaires' pour le plugin qgis. |
evidemment, l'API d'opendatasoft a une limite a 100 enregistrements, donc si je veux exporter mes 763545 enregistrements je dois le faire en 8000 appels..
donc il semble que le plus simple est d'exporter tout le jeu de données france entière par l'onglet 'export' (2.7Go en JSON, 583Mo en CSV...) plutot que l'onglet 'API', et de le filtrer a posteriori. j'ai l'impression de refaire un travail qui a déjà été fait 100x mais je ne l'ai trouvé nulle part donc.. je fais des hypotheses. pour ce qui est d'un mapping des champs, dans TOPO on a ces champs (exemple du premier record de l'API):
le schema json n'est pas trouvé sur https://schema.data.gouv.fr/ mais il est présent sur l'onglet information du dataset , et il y'a le pdf tout en haut de ce ticket (meme si le schema a pu changer depuis..) pour la correspondance avec fantoir, on peut donc dire que:
ce qui manquerait de fantoir:
|
si on veut 'reconstruire' le champ en decryptant un peu ce message l'algo est le suivant:
ex: |
petite update, j'ai 130 lignes de python qui me permettent de reproduire (à peu près) depuis un extrait du CSV de TOPO sur la commune 15001 le fichier FANTOIR correspondant, les seules pertes étant pour l'instant:
je ne sais pas si ces 2 champs ont une utilité dans le code du plugin qgis/la création des vues/requetes/etc. @mdouchin @Gustry une idée ? par contre, pour la commune donnée, il y'a 0 différence en terme de voies par rapport au fantoir 2023, je vais comparer sur un département entier, mais s'il n'y a aucune nouvelle information intégrée dans TOPO, autant utiliser le fantoir 2023. |
Le dernier fichier FANTOIR disponible semble un millésimé avril 2023 téléchargeable ici : https://www.data.gouv.fr/fr/datasets/fichier-fantoir-des-voies-et-lieux-dits/ Dans le fichier TOPO téléchargeable ici : https://www.data.gouv.fr/fr/datasets/fichier-des-entites-topographiques-topo-dgfip-1/
Donc, pour moi, TOPO est plus à jour. |
je confirme, je viens déjà de trouver de nouvelles entrées pour la commune d'ALLY (150003). mon bout de script python est sur https://github.com/landryb/topo2fantoir |
pour retrouver 'facilement' les voies ajoutées en 2023:
ou dans le fichier topo source, pareil faire une recherche sur 202306 pour juin 2023.. |
je viens de tester l'import du pci 202404 & majic 2024 incluant un fichier fantoir généré depuis TOPO avec https://github.com/landryb/topo2fantoir, et il se passe pour l'instant bien. les 2 tables reste a voir la génération de BP/RP/l'utilisation en réel; mais de ma compréhension du code, les champs manquants ne sont pas utilisés, les jointures/recherches se font sur les clef
j'ai l'impression que pour la table |
je n'ai pas vraiment l'habitude d'utiliser le plugin, mais une recherche par adresse me trouve bien des voies qui sont présentes dans mon fichier fantoir (et qui n'étaient pas présentes dans le fantoir de l'année passée) donc elles sont bien "utilisables" par le plugin. cependant, aucune parcelle ne remonte lorsque j'utilise une des valeurs du champ 'adresse' pour faire une recherche dans une commune. cependant je ne sais pas si c'est moi qui n'ait pas de chance ou qui utilise mal le plugin .. mais il semble que dans la fiche d'info d'une parcelle, le champ mais en faisant une recherche sur un libvoi ou |
a priori, cette recherche ne fonctionne pas car la requete faite sur la table
les 5 zéros après
dans les tables
pour contourner ca ... j'hésite a massacrer un peu la requete SQL faite par le plugin, et remplacer le matching exact sur la voie par un LIKE en remplacant |
avec cette correction locale dans le code du plugin (eg remplacer
|
petite astuce au passage pour le debugging, ajouter la ligne permet de dumper toutes les requetes SQL faites par le plugin dans un onglet cadastre de la boite de messages QGIS, bien pratique pour debugguer.. |
…as l'identifiant majic (ccovoi) (3liz#345) ces codes voies proviennent de l'import depuis TOPO les valeurs sont quand même uniques en concaténant le code insee+ccoriv.
Bonjour, Je viens de recevoir le nouveau millésime des données MAJIC et j'aimerais l'importer. Le soucis est qu'avec le remplacement de FANTOIR par TOPO, je ne sais pas quoi indiquer dans le panneau de configuration du plugin, rubrique "nom des fichiers MAJIC", encart "FANTOIR" ? J'ai épluché cette discussion et d'autres qui sont liées mais je ne suis pas sûre d'avoir bien compris. Pourriez-vous me confirmer qu'il faut :
Je vous remercie d'avance pour votre retour, qui je pense aidera d'autres personnes à y voir plus clair. |
@Mavialle oui c'est l'idée, tu as bien compris les différentes possibilités qui s'offrent à toi :) |
Bonjour, Juste pour info, j'ai utilisé le fichier du CRAIG après l'avoir dézippé (on obtient un .txt) et l'import semble avoir bien fonctionné. Je ne vois pas de soucis particulier dans ce qui est remonté par l'outil cadastre. Je dirais aux utilisateurs des données d'être alertes cette année sur les éventuelles problématiques amenées par l'arrêt de la base FANTOIR, et je vous ferais un retour si des anomalies nous sont remontées. Merci beaucoup pour votre aide en tout cas ! |
Bonjour, je sais pas si il y a un lien, mais je m'aperçois qu'à l'intégration d'un cadastre, le champ Propriétaires (infos détaillées) de la table Parcelles est incomplet. Il manque les informations d'adresse. =>Je ne peux également pas faire de recherche par adresse. Question annexe : Au plaisir pour échanger sur ces sujets. |
Alors, je viens de tester avec la version LTR 3.34, là ca fonctionne, le champ Propriétaires (infos détaillées) est bien renseigné. |
il va probablement falloir faire evoluer les moulinettes d'import, cf https://www.data.gouv.fr/fr/datasets/fichiers-fimoca-et-fimoct-relatifs-aux-structures-de-la-dgfip/
format_TOPO.PDF
serait la spec du 'nouveau' fichier TOPO qui remplacerait FANTOIR.
The text was updated successfully, but these errors were encountered: