← CloudCédric MerlinFREN

Galaxie Cloud Cas 3 sur 7

Un crash par jour, sans aucune erreur

Le problème

Une fois par jour, le système coupait brutalement l’application. Aucune erreur dans les journaux.

La contrainte

La mémoire réellement utilisée par l’application était bien plus basse que la capacité de la machine. Le coupable était ailleurs.

Ce que j’ai fait

01

Une réserve cachée

L’application réservait d’un coup une énorme part de mémoire, dans une zone que les outils habituels ne montrent pas.

02

Plus que la machine

Avec le moteur de recherche et les autres services, on dépassait la mémoire de la machine.

03

Un réglage qui survit

Je réduis cette réserve, j’ajoute une mémoire de secours, et je note le réglage dans l’automatisation pour qu’il survive au prochain déploiement.

04

Le vrai coupable

Je mesure processus par processus : le trafic web était plat, les pics venaient d’un traitement par lots.

Schéma : une jauge de mémoire qui déborde, puis la vraie causeUne jauge de mémoire. L’application en réserve une grande part d’un coup, le moteur de recherche et les autres services s’ajoutent et la jauge déborde : le système coupe l’application. La réserve est réduite, avec une mémoire de secours et un réglage noté dans l’automatisation. Enfin, le graphique par processus montre un trafic web plat et des pics venant d’un traitement par lots.mémoiresecoursréserverechercheservicescoupée par le systèmeréduiteréglageweblots

Le résultat

Plus un seul crash depuis le correctif, et une carte claire de ce qu’il fallait découper en premier.

1 crash, puis 0 crash

par jour depuis le correctif

Stack

  • Linux
  • Analyse mémoire
  • Automatisation
  • Supervision