Les utilisateurs du système Microsoft Azure ont perdu des enregistrements de base de données lors d’une panne massive survenue mardi. Une combinaison de problèmes DNS et de scripts automatisés était en cause, selon certains signalements.
Microsoft a supprimé plusieurs bases de données TDE (Transparent Data Encryption) dans Azure, contenant des informations client en temps réel. Les bases de données TDE chiffrent de manière dynamique les informations qu’elles stockent, et les déchiffrent lorsque les clients y accèdent. Le fait de garder les données chiffrées en mode statique empêche un intrus, ayant accès à la base de données, de lire les informations.
Bien qu’il existe différentes approches pour chiffrer ces tables, de nombreux utilisateurs de Microsoft Azure stockent leurs propres clés de chiffrement dans le système de gestion des clés de chiffrement Key Vault de Microsoft, dans le cadre d’un processus appelé Bring Your Own Key (BYOK).
Les suppressions ont été automatisées, déclenchées par un script qui supprime les tables de la base de données TDE lorsque leurs clés correspondantes ne sont plus accessibles dans le Key Vault, a expliqué Microsoft dans une lettre qui aurait été envoyée aux clients.
L’entreprise a rapidement restauré les tables à partir d’une sauvegarde instantanée effectuée cinq minutes plus tôt, mais cela a impliqué que toutes les transactions traitées par les clients dans les cinq minutes suivant la suppression de la table ont dû être traitées manuellement. Dans ce cas, les clients ont dû générer un ticket support et demander à ce que la copie de la base de données soit renommée en tant qu’original.
Pourquoi les systèmes accédant aux tables TDE n’ont-ils pas pu accéder au Key Vault ? La réponse vient d’un problème beaucoup plus important pour Microsoft et ses clients Azure survenu cette semaine. Une panne a frappé mardi le service cloud au niveau mondial, causant de nombreux problèmes. Ceux-ci incluaient un accès en pointillé à Office 365 dans lequel les utilisateurs n’avaient qu’une chance sur deux de se connecter. Les ressources cloud Azure étendues étaient également en panne.
Selon la page d’état de Microsoft Azure, ce problème était dû à une panne DNS :
La cause racine préliminaire : les ingénieurs ont identifié un problème DNS avec un fournisseur DNS externe.
Mitigation : les services DNS ont basculés vers un autre fournisseur DNS, ce qui a permis d’atténuer le problème.
Des signalements ont suggéré que cette panne DNS venait de CenturyLink, qui fournit des services DNS à Microsoft. L’entreprise a déclaré qu’elle avait subi une faille logicielle.
Cet incident illustre bien le problème des systèmes cloud interconnectés et suffisamment automatisés pour permettre des failles en cascade. Un défaut logiciel chez un fournisseur DNS a indirectement entraîné la suppression des informations client en temps réel, par manque d’intervention humaine !
CenturyLink semble connaître des problèmes DNS en série ces derniers temps. L’entreprise, qui a finalisé l’acquisition d’un opérateur de réseau “Level 3” majeur à la fin de 2017 pour un montant de 34 milliards de dollars (environ 30 milliards d’euros), a également subi une panne DNS en décembre qui aurait affecté les services d’urgence, provoquant une enquête de la FCC.
Les utilisateurs de Microsoft Azure peuvent au moins se sentir rassurés par le fait que Microsoft offre plusieurs mois de service Azure gratuit aux parties concernées !
Billet inspiré de Microsoft Azure data deleted because of DNS outage, sur Sophos nakedsecurity.