Les tests de sécurité indépendants : quelle objectivité espérer ?

Les éditeurs de logiciels de sécurité Cylance et CrowdStrike ont accusé certains laboratoires menant des tests de sécurité indépendants de partialité et de manque de loyauté. Il s’agissait d’ailleurs d’un sujet de discussion majeur pour ceux qui ont assisté à la conférence RSA 2017 la semaine dernière.

De son côté, Sophos croit que ces tests de sécurité indépendants sont un moyen de rendre les produits meilleurs. À la lumière de la controverse durant la conférence RSA, la société a réaffirmé sa vision dans un article sur le Blog Sophos. Le CTO de Sophos, Joe Levy, a reconnu que même si ces tests de sécurité ne sont pas parfaits, ils sont toujours très précieux :

Les méthodologies ne peuvent jamais être parfaites, mais les laboratoires ayant la responsabilité de ces tests de sécurité, les feront évoluer avec le temps. Le pire serait de ne rien faire en devenant de moins en moins pertinent.

Ce n’est pas la première fois que des testeurs indépendants ont été montrés du doigt. Certains les accusent de réaliser des tests de sécurité statiques et non représentatifs des scénarios rencontrés dans le monde réel, conduisant à des résultats erronés qui peuvent injustement nuire à la réputation d’un éditeur. D’autres dénoncent ce qu’ils voient comme une atmosphère de type “pay-to-play” qui génère forcément des préférences.

Naked Security s’est adressé aux experts en sécurité pour obtenir leur point de vue sur le sujet. La plupart ont dit que les tests de sécurité restaient importants, mais que le manque de standards, ainsi que d’autres problèmes diminuaient leur valeur. En d’autres termes, des améliorations sont nécessaires.

Dans des emails et sur les réseaux sociaux, ils ont décrit les moyens de s’assurer que ces tests soient aussi robustes et utiles que possible.

Cylance et CrowdStrike partent en guerre

Pour récapituler la séquence des récents événements :

• CrowdStrike a déposé une ordonnance d’interdiction et une injonction devant la cour fédérale il y a quelques semaines, pour empêcher NSS Labs de publier les résultats d’un test de groupe NSS Advanced Endpoint Protection (AEP). Lundi dernier, le premier jour de la conférence RSA, le tribunal a débouté CrowdStrike.
• Cylance a longtemps dénoncé les méthodes de deux laboratoires de certification : AV-Comparatives et MRG Effitas, lors de la réalisation des tests de protection de systèmes endpoint. Juste avant le début de la conférence RSA, Cylance a fourni au blogueur Salted Hash Steve Ragan, les résultats d’un nouveau test de comparaison qu’ils avaient commandé à AV-TEST. Cette initiative a ravivé le débat sur le bien-fondé des tests de sécurité indépendants vis à vis des tests commandés par les éditeurs.

En réponse au débat, l’ AMTSO (Anti-Malware Testing Standards Organization) a réaffirmé son soutien aux tests de sécurité indépendants de produits dans une déclaration sur son site web. Il a déclaré, entre autres choses, que :

Il est très difficile de tester les produits de façon juste et équilibrée. Les développeurs de produits font régulièrement des déclarations audacieuses sur les capacités de leurs produits. AMTSO soutient le droit des testeurs de mettre ces revendications à l’épreuve, et de fournir une validation indépendante de leur bien-fondé (ou autre).

AMTSO a reconnu que des problèmes devaient être abordés, et mis en avant les points suivants :

Nous refusons de désactiver les fonctionnalités d’un produit pendant que nous effectuons une comparaison des capacités des produits en utilisation réelle, car nous pensons que cela introduit un biais dans les résultats.

Nous croyons que toute affirmation concernant les résultats des tests doit être valable et exacte, et ils doivent fournir à la fois des données et des preuves que les scénarios testés et les méthodologies utilisées correspondent en fait aux revendications qui en résultent. À notre avis, les rapports d’essais sans ces données et sans ces preuves doivent être rejetés.

Nous croyons que les tests qui ne donnent pas aux éditeurs des produits la possibilité de répondre et de commenter l’approche ou de valider leur configuration, sont partiaux.

Nous croyons que tous les tests comparatifs doivent suivre notre démarche standard en cours de développement.  Nous défendons les droits d’un testeur de réaliser tous les tests de sécurité qu’il veut, et de tester n’importe quel produit disponible, et ce sans limitation, conformément aux normes provisoires de l’AMTSO.

Des normes plus cohérentes sont nécessaires

Lawrence M Walsh, CEO et analyste en chef au sein du 2112 Group, un cabinet en stratégie d’entreprises basé à New-York, a déclaré que le test indépendant par tierce partie effectué par des médias et/ou des laboratoires est un élément crucial de l’industrie de la sécurité, mais que le marché avait besoin d’une critique objective pour fournir aux clients une validation ou des performances attendues sur la façon dont les produits se comporteront lors du déploiement. Il a déclaré :

Le problème est que nous, en tant qu’industrie, nous manquons d’un cadre de référence de test. Nous avons besoin d’un ensemble de normes communes que les laboratoires pourront suivre. Ce n’est pas nécessairement handicapant pour les testeurs, car ils peuvent améliorer ces normes et ajouter leur propre sauce secrète. Une norme doit définir les attentes minimales, et c’est une réelle nécessité pour les tests de sécurité des produits.

Dans le même temps, a-t-il déclaré, les éditeurs ne doivent pas être autorisés à dicter comment les normes doivent être écrites :

L’ICSA Labs collabore avec les éditeurs sur ses normes de test, bien qu’il demeure l’arbitre final concernant les critères. Cela m’a toujours dérangé, parce que je sentais que les éditeurs pouvaient influencer les critères afin de réduire les paramètres et éviter ainsi des résultats vraiment horribles. Je ne pense pas que les éditeurs puissent être exclus du processus de standardisation, mais ils ne peuvent pas non plus avoir le contrôle ou trop d’emprise sur ce dernier. L’ICSA Labs a fait un bon travail en séparant les deux, mais pouvons-nous en dire autant de tous ? Les tests de sécurité doivent refléter les conditions réelles, et pas seulement des situations idéales dans des conditions contrôlées.

Le contexte est essentiel

Gal Shpantzer, un expert en sécurité informatique et en gestion des risques basé à Washington DC, a déclaré que lorsqu’il s’agissait de mesurer l’efficacité des technologies de sécurité, le contexte était critique. Il a déclaré que les testeurs, qu’ils soient indépendants ou internes, devraient poser les questions suivantes :

Vous devez comprendre ce que vous protégez, de quoi, et dans quel contexte. Windows XP pour un utilisateur dans un environnement LAN, ou Windows Server 2012 dans un environnement type datacenter, sont deux choses très différentes. Ainsi, qu’est-ce que votre anti-malware va faire pour vous concernant la violation de programmes signés et approuvés tels que PowerShell ? Surveillez-vous le DNS en plus du flux de sortie en provenance du malware ? Est-ce que vous configurez correctement votre serveur de messagerie pour éviter les pollutions évidentes telles que les fichiers .js ? Segmentez-vous votre réseau de sorte qu’un ordinateur portable ou un serveur qui serait touché n’implique pas forcément de multiples victimes ?

Il ajouta :

Lorsque nous cherchons à tout prix à savoir si ce malware APT123 est ou n’est pas pris en charge par l’agent licorne au niveau de nos systèmes endpoint, nous avons tort.

Demandez-vous : le test est-il vraiment indépendant ?

Joshua Marpet, SVP compliance & managed services pour une entreprise basée à Washington DC, a déclaré que les entreprises et les utilisateurs avaient besoin de réfléchir sérieusement sur ce qui pouvait définir un test comme indépendant. Dans de nombreux cas, il a dit qu’un test annoncé comme indépendant se révéle en fin de compte biaisé. Il a déclaré :

Personne n’est indépendant ces jours-ci dans la sécurité informatique. Personne n’utilise de réels modèles indépendants que je connais. J’aimerais savoir si quelqu’un le fait vraiment. Je ne me suis pas intéressé à NSS depuis un moment, mais ils avaient la réputation d’être plutôt assez proche d’une certaine forme d’indépendance honnête.

Conclusions

Les experts en sécurité auront toujours des opinions divergentes sur la façon dont des tests de sécurité indépendants doivent être effectués. Joe Levy, CTO chez Sophos a suggéré les moyens suivants pour rendre les tests plus efficaces et significatifs :

• La transparence est essentielle (partage des méthodologies et divulgation de tous les chiffres) ainsi que la cohérence, et tous les éditeurs doivent être soumis aux mêmes tests.
• Les éditeurs ne doivent pas essayer de se soustraire aux tests, et ils devraient probablement réfléchir à deux fois avant de menacer de poursuites les laboratoires d’essai, leurs partenaires ou d’autres fournisseurs. De tels comportements desservent les éditeurs en donnant une impression de malhonnêteté et, en fin de compte, nuisent aux utilisateurs finaux.
• Les Laboratoires de test devraient réfléchir à deux fois en ce qui concerne les rapports commandés et ce qu’ils pourraient faire pour renforcer le sentiment d’objectivité.
• Les utilisateurs finaux devraient consulter plusieurs tests différents plutôt qu’un seul. Ils devraient également s’efforcer de faire leurs propres tests quand cela est possible bien évidemment.

Follow @ SophosFrance //platform.twitter.com/widgets.js
Billet inspiré de What makes for truly independent security product testing?, par Bill Brenner, Sophos NakedSecurity.