add ports to db #104

romainm13 · 2024-03-11T23:33:33Z

Adding ports to db
Adding some processing utils functions in /data
ask Bloom for ports.csv or ports_rad3000_res10.csv

New alembic history is

(bloom-py3.10) *[main][~/12_bloom]$ alembic history
961cee5426d6 -> 7962eee40abe (head), create ports table
1fd83d22bd1e -> 961cee5426d6, create amp table
68c9f220a07f -> 1fd83d22bd1e, create alert table
e52b9542531c -> 68c9f220a07f, add columns in spire table
<base> -> e52b9542531c, create marine traffic positions and polygons table

To load data do make load-ports-data just after make launch-dev-db

RonanMorgan · 2024-03-12T09:52:50Z

pour moi c'est ok .
@rv2931 @njouanin ok pour vous ?

rv2931 · 2024-03-12T12:25:33Z

Il y a le docker-compose-load-data.yaml qu'il faudrait mettre a jour pour ajouter le load_ports_data.py
Mais faudrait le rebase non ?

njouanin · 2024-03-12T13:37:20Z

Je veux bien jeter un œil (ce soir) avant de merger

njouanin · 2024-03-12T21:32:29Z

src/alembic/versions/7962eee40abe_create_port_table.py

+    """
+    op.create_table(
+        "ports",
+        sa.Column("id", sa.Integer, primary_key=True),


sa.Column("id", sa.Integer, sa.Identity(), primary_key=True, index=True),

à quoi servent le sa.Identity() ? et index=True ?

ça permet d'indiquer à SqlAlchemy d'utiliser la syntaxe GENERATED ALWAYS AS IDENTITY pour le type de la PK. Voir ici: https://www.postgresqltutorial.com/postgresql-tutorial/postgresql-identity-column/

Index = True, effectivement pas utile pour une PK, c'est implicite

njouanin · 2024-03-12T21:34:59Z

data/utils/zone_around_point.py

+from shapely import wkt
+from shapely.geometry import Polygon
+
+radius_m = 3000  # Radius in kilometers


C'est pas un peu beaucoup 3000km ?

C'est en metres je me suis trompé dans le commentaire. Le code est bon

Fix: radius_m = 3000 # Radius in meters

Tu peux corriger ?

rv2931 · 2024-03-13T14:40:31Z

@njouanin @romainm13
Est-ce que la méthode d'intégration/stockage des données ports correspond au modèle qui est en train d'être défini. @njouanin c'est bien toi qui est responsable de la structure BDD on est d'accord ?
Si oui tu pourrais mettre le lien vers le notion/miro qui en parle afin qu'on puisse vérifier que c'est bien cohérent avec l'archi cible ?

rv2931 · 2024-03-13T14:43:03Z

Pour pas d’ambiguïté et risque de merge un peu rapide, je propose de passer la PR en draft le temps qu'on soit ok pour valider

njouanin · 2024-03-13T18:31:58Z

@rv2931 c'est bien moi qui suis responsable de la structure de la BDD. Ce qu'a fait @romainm13 est proche du modèle cible. La référence est en haut du miro, sachant que le modèle est encore en brouillon.
Je propose de merger cette PR et je reprends ensuite le code pour le mettre au carré.

njouanin · 2024-03-13T21:21:48Z

data/utils/zone_around_point.py

+from shapely import wkt
+from shapely.geometry import Polygon
+
+radius_m = 3000  # Radius in kilometers


Tu peux corriger ?

rv2931 · 2024-03-13T21:37:43Z

Bon c'est du détail globalement mais il y a quelques exceptions ruff sur de la qualité de code
ça a pas l'air compliqué mais si on peut éviter des les cumuler c'est pas plus mal
Faut aller regarder les Check/Pre-Commit/Run Pre-commit

njouanin · 2024-03-13T21:40:18Z

Bon c'est du détail globalement mais il y a quelques exceptions ruff sur de la qualité de code ça a pas l'air compliqué mais si on peut éviter des les cumuler c'est pas plus mal Faut aller regarder les Check/Pre-Commit/Run Pre-commit

oui, je pensais ouvrir une issue spécifique pour que l'on fasse une passe de correction ruff globale sur le code.

rv2931 · 2024-03-15T21:52:06Z

@romainm13 j'ai créé une branche add_ports à partir de ta branche de ton fork
Je l'ai rebase sur le nouveau main et mis à jour le docker compose load data pour y intégrer le chargement des ports et quelques modification
Par contre j'ai une erreur quand je fais la commande alembic upgrade head
ERROR [alembic.util.messaging] Multiple head revisions are present for given argument 'head'; please specify a specific target revision, '<branchname>@head' to narrow to a specific head, or 'heads' for all heads FAILED: Multiple head revisions are present for given argument 'head'; please specify a specific target revision, '<branchname>@head' to narrow to a specific head, or 'heads' for all heads

J'imagine qu'il y a une divergence de 2 branches en Y de ce que je comprends. Si vous maitrisez alembic je vous laisse résoudre sinon j'imagine qu'il faut juste refaire la cohérence down_revision et depends_on ?

njouanin · 2024-03-15T22:17:46Z

Si tu lances alembic history tu n'as pas la même chose que @romainm13 dans son premier commentaire ?

rv2931 · 2024-03-15T22:18:03Z

Je vous propose de repartir de cette PR #111
La branche est créé dans le dépôt principal et on peut collaborer directement dessus

rv2931 · 2024-03-15T22:19:49Z

Si tu lances alembic history tu n'as pas la même chose que @romainm13 dans son premier commentaire ?

J'ai modifié un down_revision et j'obtiens ça qui fonctionne

6734d9afbba5 -> 7962eee40abe (head), create ports table
961cee5426d6 -> 6734d9afbba5, drop_marine_traffic_vessel_positions
1fd83d22bd1e -> 961cee5426d6, create amp table
68c9f220a07f -> 1fd83d22bd1e, create alert table
e52b9542531c -> 68c9f220a07f, add columns in spire table
<base> -> e52b9542531c, create marine traffic positions and polygons table

On a du intégrer des revisions pour marine traffic entre temps

rv2931 · 2024-03-16T19:32:07Z

code repris dans le projet via la la PR #111
Je ferme cette PR

add ports to db

8afc886

njouanin reviewed Mar 12, 2024

View reviewed changes

rv2931 marked this pull request as draft March 13, 2024 14:43

njouanin approved these changes Mar 13, 2024

View reviewed changes

rv2931 marked this pull request as ready for review March 13, 2024 21:16

njouanin requested changes Mar 13, 2024

View reviewed changes

rv2931 mentioned this pull request Mar 15, 2024

add ports to db (v2) #111

Merged

rv2931 closed this Mar 16, 2024

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

add ports to db #104

add ports to db #104

romainm13 commented Mar 11, 2024

RonanMorgan commented Mar 12, 2024

rv2931 commented Mar 12, 2024 •

edited

Loading

njouanin commented Mar 12, 2024

njouanin Mar 12, 2024

romainm13 Mar 12, 2024

njouanin Mar 13, 2024

njouanin Mar 13, 2024

njouanin Mar 12, 2024

romainm13 Mar 12, 2024

njouanin Mar 13, 2024

rv2931 commented Mar 13, 2024

rv2931 commented Mar 13, 2024

njouanin commented Mar 13, 2024 •

edited

Loading

njouanin Mar 13, 2024

rv2931 commented Mar 13, 2024

njouanin commented Mar 13, 2024

rv2931 commented Mar 15, 2024 •

edited

Loading

njouanin commented Mar 15, 2024

rv2931 commented Mar 15, 2024

rv2931 commented Mar 15, 2024 •

edited

Loading

rv2931 commented Mar 16, 2024

add ports to db #104

add ports to db #104

Conversation

romainm13 commented Mar 11, 2024

RonanMorgan commented Mar 12, 2024

rv2931 commented Mar 12, 2024 • edited Loading

njouanin commented Mar 12, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

rv2931 commented Mar 13, 2024

rv2931 commented Mar 13, 2024

njouanin commented Mar 13, 2024 • edited Loading

Choose a reason for hiding this comment

rv2931 commented Mar 13, 2024

njouanin commented Mar 13, 2024

rv2931 commented Mar 15, 2024 • edited Loading

njouanin commented Mar 15, 2024

rv2931 commented Mar 15, 2024

rv2931 commented Mar 15, 2024 • edited Loading

rv2931 commented Mar 16, 2024

rv2931 commented Mar 12, 2024 •

edited

Loading

njouanin commented Mar 13, 2024 •

edited

Loading

rv2931 commented Mar 15, 2024 •

edited

Loading

rv2931 commented Mar 15, 2024 •

edited

Loading