Tester l’IA avec Alexandre Combessi pour la saison 3 de QG Qualité
Comment tester un système dont on ne peut pas prévoir exactement le comportement ?
Avec les LLM et les agents IA, les méthodes traditionnelles de la qualité logicielle se heurtent à un changement de paradigme. Les réponses sont non déterministes, les risques évoluent avec les usages et une défaillance ne se limite plus forcément à un simple bug logiciel.
Dans le premier épisode de la saison 3 de QG Qualité, nous recevons Alexandre Combessi, cofondateur de Giskard, pour comprendre comment tester, évaluer et sécuriser ces nouveaux systèmes.
Alexandre revient sur son parcours, de la finance au Machine Learning, puis sur la création de Giskard et le bouleversement provoqué par l’arrivée de ChatGPT. Nous décortiquons ensuite la méthode utilisée pour transposer les concepts fondamentaux de la qualité logicielle au monde de l’IA.
Comment définir les risques à couvrir ? Comment construire une boucle d’amélioration continue ? À quoi servent un scan ou un harness d’évaluation automatisé ? Peut-on réellement mesurer la confiance que l’on accorde à un modèle ?
Nous abordons également la sécurité des LLM, l’évolution des hallucinations, les risques pour les utilisateurs les plus vulnérables et les limites d’une approche qui se concentrerait uniquement sur la sécurité technique.
Alexandre nous explique enfin les principes du red teaming et du blue teaming, ainsi que la complémentarité entre évaluations offline et contrôles en temps réel.
Un épisode pour comprendre pourquoi tester une IA ne consiste plus simplement à vérifier qu’une sortie correspond à une sortie attendue. Il faut désormais tester des comportements, des risques et des systèmes dont une partie restera, par nature, imprévisible.
Bonne écoute !
Retrouvez nos précédents épisodes du podcast QG Qualité :
Saison 2
- Romuald Lenormand – L’interviewer interviewé !
- Emmanuelle Aboaf – Pourquoi l’accessibilité doit s’intégrer dès la conception ?
- Olivier Denoo – vice-président de l’ISTQB : “L’avenir, c’est le testeur augmenté »
- Matthieu Leroux-Huet – BlackScale IT : Comprendre enfin les tests de performance
- Jean-François Fresi – Solopreneur QA – mission + contenu = crédibilité
- Bruno Legeard – Smartesting – Tester avec l’IA, comprendre l’IA, survivre à l’IA
- Antoine Bouchet – Qanary – La promesse d’un test en deux minutes sans coder
- Farah Chabchoub – CTO chez Worklife – De QA à CTO en moins de 10 ans
- Fanny Velsin – QE Freelance – Le Mag du Testeur, pour et avec la communauté
- Benjamin Butel – Ilek – La qualité logicielle à grande vitesse des start-ups
- Florent Vaution – Ouest-France – Les coulisses de la QA chez un géant de la presse française
Saison 1
- Simon Champenois – Carrefour – Le QE Score, une note pour piloter tous les KPI
- Isabelle Demarest – Naissance d’un service QA chez AG2R La Mondiale
- Nancaidah Touré-Chauvin – De la restauration à QA Lead et Qalisty : une reconversion inspirante
- Vincent Dugarin – AXA – Précurseurs dans l’usage de l’IA appliquée au test
- Jérémie Hattat – Le pari réussi de la QA à l’échelle chez ADEO
- Marc Hage Chahine – La Taverne du Testeur : focus sur l’un des pionniers de la qualité logicielle
- Nicolas Zangari – Les secrets qualité d’un paiement fluide et sécurisé chez Purse
- Sabir Archkak – Comment tester une app mobile avec 80 000 utilisateurs dans 70 pays ? chez Decathlon
Vous aimez le podcast QG Qualité ? Faites-le savoir ! N’hésitez pas à liker, commenter et vous abonner à notre podcast sur les plateformes de streaming et à partager autour de vous !
Vous avez des choses à raconter (expertise, retour d’expérience, conseils, thématique, etc.) dans le podcast QG Qualité ?
Contactez-nous pour en discuter !
Envie d'une autre lecture ?
LabQA : le (faux) site e-commerce pour s’entraîner aux tests automatisés.
Utiliser un véritable site e-commerce peut rapidement devenir contraignant pour s’entraîner à déployer des tests automatisés. Les données changent, les fonctionnalités évoluent, certains scénarios ne sont pas reproductibles…
Bref, ce n’est pas l’idéal pour apprendre ou construire des tests fiables. Une difficulté revient souvent : sur quel site s’entraîner ?
C’est précisément pour répondre à ce besoin que SSID a développé LabQA, un faux site e-commerce entièrement conçu pour permettre aux testeurs de créer, exécuter et perfectionner leurs tests automatisés.
Romuald de l’autre côté du micro pour QG Qualité !
Aujourd’hui, dans ce nouvel épisode bonus de QG Qualité, les rôles s’inversent !
Pour une fois, ce n’est pas Romuald Lenormand qui mène l’interview.
Vous connaissez sa voix, ses questions et sa curiosité à travers les épisodes du podcast. Mais qui est Romuald ? Quel a été son parcours ?
SSID x APIZR – Mise en place de l’automatisation avec l’IA – « 100 tests automatisés en 6 jours »
L’automatisation des tests est aujourd’hui un levier pour garantir la qualité des applications tout en accélérant les cycles de développement. Pourtant, de nombreuses entreprises s’appuient encore sur des campagnes de tests majoritairement manuelles, souvent longues à exécuter et difficiles à maintenir.