Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Taille des index suspecte sur oban_jobs et metrics #4364

Closed
thbar opened this issue Dec 10, 2024 · 3 comments
Closed

Taille des index suspecte sur oban_jobs et metrics #4364

thbar opened this issue Dec 10, 2024 · 3 comments
Assignees
Labels
dette technique Entretien & maintenance générale, nécessaire pour que le code reste de bonne qualité

Comments

@thbar
Copy link
Contributor

thbar commented Dec 10, 2024

Je le note spécifiquement pour voir plus tard si ça revient.

En théorie on a un auto-vacuum sur la base, mais j'ai remarqué ceci qui m'interpelle fortement, et qui ne doit pas aider pour:

En relançant cette query, j'ai remarqué la taille des index en production en particulier sur deux tables:

table_schema table_name row_estimate total index toast table total_size_share
public oban_jobs 64381 875 MB 841 MB 3240 kB 31 MB 0.6145186079701395
public metrics 597151 527 MB 426 MB 8192 bytes 102 MB 0.37050170161378854

Ce que la query retourne comme étant du volume d'index, est bien supérieur à la taille de la data elle-même.

⚠️ @etalab/transport-tech je vais faire un VACUUM manuel ce soir et voir si ça règle le souci, et voir aussi si ça allège la charge CPU au moment du backup (mais ça n'allègera normalement pas la taille du backup, car normalement il ne contient que les définitions des indexes).

@thbar thbar added the dette technique Entretien & maintenance générale, nécessaire pour que le code reste de bonne qualité label Dec 10, 2024
@thbar thbar self-assigned this Dec 10, 2024
@thbar
Copy link
Contributor Author

thbar commented Dec 10, 2024

J'ai fait tourner successivement:

VACUUM ANALYZE oban_jobs
VACUUM ANALYZE metrics

(et ca n'a pas suffit)

puis la version qui locke davantage:

VACUUM FULL ANALYZE oban_jobs
VACUUM FULL ANALYZE metrics

et là c'est concluant sur la taille des index:

table_schema table_name row_estimate total index toast table total_size_share
public metrics 599046 145 MB 68 MB 8192 bytes 77 MB 0.8247436409641763
public oban_jobs 63936 31 MB 6176 kB 8192 bytes 25 MB 0.17525635903582368

Par contre, j'ai tenté sur multi_validations et j'ai eu un message d'erreur (no space left on device) temporaire.

On a en théorie du gagner 1,2GB de disque (j'irai vérifier sur Grafana).

@thbar
Copy link
Contributor Author

thbar commented Dec 11, 2024

Je clôture, je continuerai le ménage, mais après avoir retaillé le disque.

@thbar thbar closed this as completed Dec 11, 2024
@thbar
Copy link
Contributor Author

thbar commented Dec 16, 2024

J'ai fait tourner VACUUM FULL ANALYZE multi_validation, qui bloquait avant.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
dette technique Entretien & maintenance générale, nécessaire pour que le code reste de bonne qualité
Projects
None yet
Development

No branches or pull requests

1 participant