Claudio Alberti — Validation indépendante des systèmes d'IA

Le problème

Tout le monde sait faire une démo. Presque personne ne sait la prouver.

Le règlement européen sur l'IA, la norme ISO/IEC 42001 et les lignes directrices de la FINMA posent la même question dans trois vocabulaires différents : montrez-moi comment ce système se comporte, et montrez-moi les preuves. La plupart des équipes répondent à la première moitié. C'est sur la seconde que les mandats, les certifications et les audits achoppent réellement.

Une démo mesure une capacité. La production mesure une constance.

Des taux de réussite convaincants sur une exécution isolée s'effondrent sur plusieurs exécutions consécutives à l'échelle. Sans dispositif d'évaluation reproductible, il n'y a rien à présenter à un évaluateur — et rien à piloter.

Une documentation écrite après coup décrit une entreprise qui n'existe pas.

Un système de management assemblé le mois précédant l'audit se lit comme une fiction, parce que c'en est une. La pratique doit venir d'abord ; la documentation a ensuite quelque chose de vrai à décrire.

On ne documente pas rétroactivement un jeu de données que personne n'a caractérisé.

La gouvernance des données exige provenance, caractéristiques et examen des biais sur les jeux d'entraînement, de validation et de test. Cela se capture pendant qu'on a les données sous les yeux, ou cela ne se reconstruit plus.

Prestations

Évaluer ou construire. Jamais les deux, pas pour le même client.

Tout ce qui suit répond à une seule question, formulée dans des registres différents : êtes-vous en mesure de démontrer que ce système fait ce que vous dites qu'il fait ? Chaque mandat est cadré lors d'un premier échange et chiffré au forfait avant de commencer — pas de tarif journalier ouvert, pas de phase de cadrage qui se facture elle-même.

Évaluation indépendante

Validation indépendante de modèles

La validation d'un système d'IA avant sa mise en production, par quelqu'un qui ne l'a pas construit, assortie du dossier de preuves qu'un évaluateur demandera.

Conception de l'évaluation et dispositif qui vous reste
Analyse des modes de défaillance et risque résiduel
Rapport de validation et dossier de preuves
Aligné sur les attentes FINMA en matière de risque de modèle

En général 3 à 6 semaines

Système de management de l'IA

Le système de management décrit par ISO/IEC 42001, construit comme se construit un système qualité soumis à audit — la discipline qui a mené deux logiciels de diagnostic à travers ISO 13485 et IEC 62304, appliquée à l'IA.

Inventaire des systèmes d'IA, responsabilités et registre des risques
Analyse d'écart par rapport à la norme
Procédures de changement, d'incident et de surveillance adaptées à vos pratiques
Documentation qu'un évaluateur peut suivre

En général 3 à 6 mois

Préparation à l'AI Act

Où se situent vos systèmes au regard du règlement, ce que le report des échéances change concrètement à votre feuille de route, et ce qu'il faut construire maintenant pour que 2027 et 2028 se passent sans incident.

Inventaire et classification des risques
Matrice d'écart avec la documentation technique existante
Obligations de transparence de l'article 50, déjà applicables
Plan de remédiation priorisé, avec responsables désignés

En général 2 à 4 semaines

Opérationnel

Direction technique à temps partiel

Deux à quatre jours par mois comme le responsable technique qui manque à l'équipe : celui qui décide comment le système est construit, quelles preuves il produit en fonctionnant, et lesquelles des idées de la feuille de route ne devraient pas être construites du tout.

Architecture et arbitrage entre ingénierie et conformité
Pratique d'évaluation : dispositifs, tests de non-régression, définir « satisfaisant » avant la mise en production
Pipelines de recherche augmentée et agents, du prototype à la production
Montée en compétence de l'équipe interne plutôt que substitution
Dire non aux fonctionnalités qui rendraient le système indéfendable

Forfait mensuel, six mois renouvelables

Pour un même client, j'évalue les systèmes ou je les construis, jamais les deux. La plupart des cabinets qui vendent aujourd'hui de l'assurance IA entretiennent des partenariats commerciaux avec les fournisseurs dont ils évalueraient les systèmes ; je n'ai ni ces liens, ni de produit à placer. Renoncer à la moitié du travail, c'est ce qui rend l'autre moitié digne d'être achetée.

Parcours

Vingt ans de logiciels soumis à inspection

Une sélection, présentée comme un faisceau de preuves plutôt que comme une chronologie. Le parcours complet figure sur LinkedIn.

ISO/IEC JTC 1/SC 29Normalisation

Développement et édition de la série ISO/IEC 23092 — MPEG-G — la norme internationale de compression, de transport et de traitement des données de séquençage génomique. Pilotage de projets réunissant jusqu'à 26 partenaires internationaux, du premier document de travail à la norme publiée.

GenomSys SACofondateur & CTO, spin-off EPFL · 2017–2023

Entreprise construite depuis zéro jusqu'à vingt collaborateurs et 14 millions de francs levés sur trois tours de financement. Architecture de trois lignes de produits — poste de travail, cloud et mobile — et deux logiciels de diagnostic menés jusqu'au marquage CE et à la certification ISO 13485. Douze familles de brevets déposées, plus de quatre-vingts brevets délivrés dans le monde.

confinis SAHead of Software · 2024–2026

Direction de la gestion du cycle de vie logiciel selon IEC 62304 pour la conformité réglementaire de logiciels dispositifs médicaux, et mise en place d'un système de management de la qualité conforme ISO 13485, aligné sur ISO/IEC 42001. Product owner d'une plateforme réglementaire fondée sur l'IA, codéveloppée avec Zühlke, intégrant pipelines de recherche augmentée et agents dans la surveillance après commercialisation, la documentation clinique et la veille réglementaire.

EPFLDoctorat, recherche et gestion de projets · 1999–2006, 2012–2017

Doctorat en gestion des droits numériques, suivi de la coordination de projets logiciels en sécurité multimédia et en bio-informatique. Publications à comité de lecture dans les deux domaines, et quatre financements collaboratifs suisses et européens obtenus.

AuparavantBanque, sécurité, PKI · 2006–2012

Ingénieur de production front office chez Lombard Odier, en support d'applications critiques pour 1 200 collaborateurs. CTO et architecte logiciel chez GlobeX Data sur le stockage sécurisé de données. Chiffrement, signature électronique et infrastructures à clés publiques chez WISeKey. Membre du conseil d'administration de Sekur Private Data Ltd depuis 2022.

À propos

Des deux côtés de la table

J'ai rédigé une norme internationale, et j'ai été audité au regard d'une autre. J'ai mis des systèmes d'IA en production, et j'ai dû démontrer après coup pourquoi ils s'étaient comportés comme ils l'avaient fait. Ces deux expériences se rencontrent rarement chez la même personne, et c'est précisément dans cet écart que la plupart des démarches de gouvernance de l'IA échouent : des référentiels écrits par des gens qui n'ont jamais livré, et des systèmes livrés par des gens qui n'ont jamais été évalués.

Je travaille depuis Genève, en français, en anglais et en italien. Nationalités suisse et italienne. Doctorat de l'EPFL, master du Politecnico di Milano. Certifié Scrum Master et Product Owner, AWS Certified Cloud Practitioner, TensorFlow Developer.

Contact

Commencez par la question, pas par le mandat

Si vous cherchez à déterminer qui valide vos modèles avant leur mise en production, ou ce que l'AI Act exige réellement de votre feuille de route, cela mérite une discussion avant de devenir un projet. Écrivez-moi en décrivant la situation.

Direct

Ce qui aide

Ce que fait le système, en un paragraphe
Qui doit être convaincu — un régulateur, un auditeur, un client, votre conseil
Où vous en êtes : en conception, en production, ou déjà en audit

Langues

Italien et français — langue maternelle
Anglais — professionnel courant
Espagnol — intermédiaire