Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Metrics processing #212

Open
wants to merge 62 commits into
base: main
Choose a base branch
from
Open

Metrics processing #212

wants to merge 62 commits into from

Conversation

ejamet73
Copy link
Collaborator

@ejamet73 ejamet73 commented Oct 19, 2024 •
edited by rv2931
Loading

issue #204
Creation d'une table de faits fct_metrics contenant les informations pour les statistiques. Cette table sera utilisée pour les différents endpoints. L'idée est d'effectuer des pré-calculs replissants cette table. la table contient Une granularité (un pas de temps) un identifiant de bateau, un type ( soit in amp soit at sea), combien de temps (un timestamp), le nom de la zone (None si le bateau n'était pas en amp) en pêchant ou non (booleen) . Ces informations seront agrégées en fonction des requêtes effectuées via api

@ejamet73 ejamet73 self-assigned this Oct 23, 2024
@ejamet73 ejamet73 requested review from njouanin and removed request for njouanin October 23, 2024 14:00
@rv2931
Copy link
Collaborator

rv2931 commented Oct 25, 2024

Hello
Désolé d'avoir mis du temps à relire
Pour ce qui est des metrics sur les zones, et sur le postulat qu'on aura une ligne par zone pour éviter des bricolages sur le temps passé par zone si des zones se superposent (territorial watters et MPA se superposent généralement) j'aurais tendance à tracer une ligne par zone et préciser le type de zone plutôt que de juste mettre IN_MPA et généraliser ça à toutes les zones plutôt que spécifiquement au MPA (zone_name plutôt que mpa_name). Je pense qu'on ne survaillera que les MPA mais ça laisse la possibilité de faire des metrics sur toutes sortes de zone (comme les zones blanches aussi que j'aimerais bien migrer dans la zones standard personnellement)
par contre ça pose le soucis des zone de même type qui seraient superposées, dans ce cas il ne faudrait pas aggréger les temps une fois dans metrics.
@marthevienne est-ce que partir du postulat que deux AMP, deux zone blanches, 2 costal watters, ou deux territorial watters ne peuvent pas sur superposer te paraît raisonnable et ne devrait pas fausser des statistiques ou bien il faut qu'on trouve un moyen pour éviter ça ?

ejamet73 added 10 commits October 25, 2024 19:37
@ejamet73
update create_update_excursion.py
366a90c
@ejamet73
Sur la branche metrics-processing
ac2b8c4 
 Modifications qui seront validées :
	modifié :         backend/alembic/versions/c32d65d6e6fd_create_fct_metrics.py
	modifié :         backend/bloom/container.py
	modifié :         backend/bloom/domain/metrics_new.py
	modifié :         backend/bloom/infra/database/sql_model.py
	modifié :         backend/bloom/infra/repositories/repository_metrics.py
	modifié :         backend/bloom/tasks/create_update_excursions_segments.py
@ejamet73
Create Alembic migration for fct metrics
9f1dc3c
@ejamet73
modify Alembic migration for fct metrics
c3fdf8e
@ejamet73
création de fct_metrics, ajout des colonnes mmsi & ship_name, premier…
f68e4dc 
… remplissage de la table lors de l'execution de create_updateexcursions_segments.py
@ejamet73
update create_update_excursion.py
e9a3ebe
@ejamet73
Sur la branche metrics-processing
11d7066 
 Modifications qui seront validées :
	modifié :         backend/alembic/versions/c32d65d6e6fd_create_fct_metrics.py
	modifié :         backend/bloom/container.py
	modifié :         backend/bloom/domain/metrics_new.py
	modifié :         backend/bloom/infra/database/sql_model.py
	modifié :         backend/bloom/infra/repositories/repository_metrics.py
	modifié :         backend/bloom/tasks/create_update_excursions_segments.py
@ejamet73
update create_update_excursons_segment
010422e
@ejamet73
creation de la table fct_metrics
89d65d7
@ejamet73
Merge remote-tracking branch 'origin/metrics-processing' into metrics…
7a8b9ac 
…-processing
@ejamet73 ejamet73 requested a review from rv2931 November 28, 2024 16:51
@rv2931
Copy link
Collaborator

rv2931 commented Nov 29, 2024

@ejamet73 t'aurais moyen de rebase sur la main actuelle ? il y a un conflit et je préfère que ce soit toi qui resolve

@ejamet73 ejamet73 requested review from rv2931 and removed request for rv2931 November 30, 2024 16:10
@rv2931 rv2931 mentioned this pull request Dec 3, 2024
Merged
@marthevienne
Copy link
Collaborator

J'ai changé l'ID de la révision pour être cohérent avec les versions dans le main. @rv2931, est-ce que tu peux vérifier que tout fonctionne ?
@ejamet73, il y a des conflits qu'il faut régler avant d'intégrer la PR :)

alexphiev and others added 30 commits December 4, 2024 19:54
@alexphiev @ejamet73
Added cache 30 days for zones
bedf239
@alexphiev @ejamet73
Optimize map performance
26c4ec6
@alexphiev @ejamet73
Update api based on backend fixes
9376f07
@alexphiev @ejamet73
Load map data server side with caching
dfc19c2
@ejamet73
feat: ajout endpoint /metrics/vessels/time-by-zone (vessel_id,categor…
b91fde8 
…y,sub_category,order,limit/offset)
@marthevienne @ejamet73
change basemap URL
f4c9bc0
@marthevienne @ejamet73
fix change basemap URL
12a7e48
@ejamet73
fix: #306
42f832e
@marthevienne @ejamet73
[back] add clipped_territorial_seas.csv to loaded files (dim_zones)
f5d0737
@marthevienne @ejamet73
add category filter to /metrics/zone-visited
4ddc6ee
@HenriChabert @ejamet73
Changed vessel icons, and handle click on map
ecf7f2e
@alexphiev @ejamet73
Added map zone colors and borders
70bdc46
@ejamet73
fix getVesselsInActivity: return list of vessels in activity with tot…
6834ee1 
…al time spent at sea (correct sum)

# Conflicts:
#	backend/bloom/services/metrics.py
@marthevienne @ejamet73
add /vessels/vessels-at-sea: nombre de navires en mer pendant une pér…
47abc5c 
…iode donnée
@ejamet73
fix: 309 change top vessel activity for activity in MPAs
98c7c85
@HenriChabert @ejamet73
Made zone click event do nothing
f41b45c
@alexphiev @ejamet73
Add vscode config frontend
981d54c
@alexphiev @ejamet73
Add vessels-at-sea total to dashboard
2c86bc0
@alexphiev @ejamet73
Solves #315 and #305
361f8d5
@marthevienne @ejamet73
fix/dashboard: replace vessel.length_class by vessel.length
9df4a0f
@marthevienne @ejamet73
replace AMP by MPA
41cfd60
@marthevienne @ejamet73
mètres to m
09ad3a1
@marthevienne @ejamet73
fix/vessels_excursions: filter vessel excursions in a timeframe
f127c7d
@ejamet73
fix: datetime range endpoint + conformisation
367aeb7 
# Conflicts:
#	backend/bloom/infra/repositories/repository_excursion.py
#	backend/bloom/routers/v1/vessels.py
@rv2931 @ejamet73
feat: historisation des task executions
2d88eb2
@rv2931 @ejamet73
feat: add tracing for task load_spire_data_from_api
b46b82b
@rv2931 @ejamet73
feat: keep data from exiting task_executions table in alembic migration
caaa6ed
@rv2931 @ejamet73
doc: add comments
8ccdad6
@rv2931 @ejamet73
feat: TaskExecution add delta column time to last task execution
d12064c
@rv2931 @ejamet73
feat: add generation of task_execution for all past spire_ais_data calls
493d4e9
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Reviewers

@rv2931 rv2931 Awaiting requested review from rv2931

Assignees

@ejamet73 ejamet73

Labels
None yet
Projects
None yet
Milestone
No milestone
Development

Successfully merging this pull request may close these issues.
5 participants
@ejamet73 @rv2931 @marthevienne @alexphiev @HenriChabert