Un incident a été détecté sur l'hôte SEED70 le 06/05/2019 à 23h27

Nos équipes interviennent toujours sur le serveur à l'heure actuelle.

Les données client n'ont pas été affectées.

Les données de SEED70 ont été sécurisées et les investigations sont terminées. Nos équipes procèdent aux réparations nécessaires sur ce noeud.

La remise en service du noeud SEED70 est prévu le 09 mai, avant 17h.

Les différentes configuration sont en cours de reconstruction. La remise en service de l'hôte est toujours prévue pour aujourd'hui.

Les seedbox sont entrain de redémarrer.

Nous constatons une nouvelle indisponibilité du noeud SEED70. Nos équipes sont entrain d'intervenir.

Nous allons lancer un nouveau plan d'action, pour remplacer la totalité du noeud, qui semble présenter une avarie plus importante que présumée.

Le noeud SEED91 va être mis en production en urgence, et les données de SEED70 vont être migré sur le noeud.

Nous espérons un retour à la normale d'ici samedi soir.

La totalité des clients impacté seront automatiquement dédomagés.

Le noeud est de nouveau disponible depuis 16h. La totalité des fan du chassis ont été remplacés.

En parallèle nous préparons un second noeud, pour lancer la copie des données et être en mesure de basculer rapidement dessus en cas de nouvelle avarie de SEED70.

Nous allons garder un monitoring renforcé sur ce noeud.

Rapport final concernant l'incident de SEED70 :

Le 06/05/2019 à partir de 22h, notre monitoring a détecté un incident sur le noeud SEED70. Suite à ces premières alertes, notre équipe est rapidement intervenue, et a constaté plusieurs problèmes au niveau du chassis, notamment sur l'accès aux données des seedbox.

A 23h27, le noeud s'est éteint automatiquement pour cause d'avarie sur le hardware. Les premières constations ont mis en évidence des problèmes sur plusieurs composants critiques du chassis (notamment la carte mère).

Les équipes ont commencé la mise en sécurité des données des clients (près de 20To). Cette opération a pris de nombreuses heures et s'est achevé en début d'après midi du 8 mai. Les opérations de diagnostic des composants et de leur remplacement ont commencé le même jour à 14h.

Ont été remplacés :

- Carte mère (diagnostic HS)
- Carte RAID (préventif)
- Blocs d'alimentation (diagnostic HS)

Le changement de carte mère a entrainé un besoin de re-configuration des seedbox.

Ces opérations ont pris fin le 9 mai à 15h, où les seedbox ont été redémarré.

Le 9 mai à 19h le noeud s'est de nouveau mis en sécurité pour un nouveau défaut hardware. Après investigation, de nouveaux composants ont été détectés HS (blocs de ventilations). Nous avons procédé au remplacement préventif des pièces suivantes :

- Blocs de ventilations
- Backplane HDD

Le noeud a repris ses opérations à 15h30 le 10 mai.

Cet incident a entrainé une indisponibilité totale des seedbox entre le 6/05 et le 10/05, soit 4 jours. Cela a également entrainé la re-configuration des seedbox, et donc la perte des fichiers .torrents. Les données téléchargées n'ont pas été affectées et sont toujours disponibles sur Plex ou le FTP/Gestionnaire de fichiers, mais il est nécessaire de ré-ajouter les .torrent pour que ces fichiers soient de nouveau en partage.

Un dédommagement (10j de crédit sur la date d'expiration des seedbox) va être appliqué a la totalité des clients impacté. Ce dédommagement sera appliqué le samedi 11 mai, dans l'après-midi.

Nous allons également entreprendre plusieurs actions préventives sur la totalité de notre parc, afin que cet incident ne se reproduise pas.

Nous allons renforcer le monitoring hardware de la totalité des noeuds, et revoir le système de pilotage des seedbox, afin d'être en mesure de ré-importer les configuration de ces dernières en cas d'incident.

Notre support technique reste bien évidemment disponible pour toute question ou remarque concernant cet incident.

Le dédommagement a été appliqué sur tous les clients impactés.

Le bandeau restera présent sur le site jusqu'à lundi.

Nous avons maintenant résolu l'incident. Merci pour votre patience.