Validation des modèles orientée risque et conformité
Maîtrisez les limites de vos modèles
Maximisez la confiance de vos utilisateurs
Cartographiez les zones de confiance et les frontières d’utilisation de vos modèles pour des décisions sûres, éthiques et performantes
Vos modèles sont-ils vraiment fiables en toutes circonstances ?
L’apprentissage machine révolutionne les prises de décision, mais un modèle utilisé hors de son contexte d’entraînement peut générer des biais, des erreurs coûteuses ou des risques juridiques. Sans une compréhension claire de ses conditions limites d’utilisation, vous laissez la porte ouverte à l’incertitude et aux prédictions hasardeuses.
Les questions à vous poser
Votre modèle fait-il ce qu'il est censé faire?
Le fait-il pour les bonnes raisons?
Les limites d’utilisation sont-elles définies à chaque réentraînement de vos modèles?
Les zones de confiance et les limites d'utilisation sont-elles communiquées aux utilisateurs?
Les utilisateurs ont-ils une bonne compréhension de ces informations?
Les sources du risque de modélisation
Spécifications inadéquates,
Volume insuffisant de données,
Données inexactes, inadéquates ou incomplètes,
Overfitting / Underfitting,
Hypothèses biaisées ou irréalistes,
Mauvaises estimations des hyperparamètres,
Calculs mathématiques inexacts,
Manque de suivi des performances du modèle en production
Prévenir le risque de modélisation
Décisions erronées
Biais et discriminations
Perte de confiance des parties prenantes
Non-conformité avec les régulations
Impossibilité de défendre les décisions prises par le modèle
Coûts liés aux erreurs
Dépenses imprévues pour corriger les problèmes
Des exigences croissantes en matière de gestion des risques de modèles
Identification des risques associés aux modèles,
Documentation des limites d’utilisation,
Validation indépendante et continue des performances des modèles
Une solution d'aide à la validation des modèles à destination des équipes de gestion des risques, conformité et audit
Même les meilleurs modèles d'apprentissage machine possèdent des zones d'incertitude qui limitent leur utilisation.
Insightbounds assiste l'ensemble des intervenants en charge de la gestion du risque de modélisation (GRM) en leur fournissant des informations cruciales sur l’incertitude contextuelle des prédictions.
Ces informations leur permettent de valider leurs domaines d'utilisation du point de vue affaires, risque, conformité et audit, facilitant ainsi des décisions plus éclairées et informées.
Pour les équipes de science des données, Insightbounds permet d'extraire des connaissances utiles pour raffiner les modèles d’origine et améliorer leur performance.
Où vos modèles sont-ils performants ?
Insightbounds cartographie les domaines de données où vos modèles performent efficacement et détecte les zones où leurs prédictions perdent en fiabilité.
Lorsque vous évaluez plusieurs modèles, Insightbounds identifie précisément celui qui excelle dans chaque contexte de données.
Comprendre pourquoi ça marche... ou pas
Pourquoi un modèle fonctionne-t-il dans un contexte et échoue-t-il dans un autre ?
Insightbounds fournit une analyse granulaire des causes profondes des zones de sous-performance des modèles.
Découvrez les combinaisons de variables et d'intervalles dans lesquelles la précision de vos modèles est la plus sensible aux changements.
Comparer des modèles
Dans le cas d'une comparaison de modèles, Insightbounds vous permet d'analyser les écarts de prédiction de manière systématique et d'effectuer des tests vérifiant si les différences sont statistiquement significatives.
En comparant les résultats obtenus sur un même jeu de validation, vous identifiez les domaines de données où les modèles performent différemment et les scénarios où un modèle candidat surpasse un autre.
Évaluer la performance économique du modèle
À partir de la distribution des erreurs et du coût individuel des erreurs de prédiction, la solution identifie les régions de perte maximale et quantifie les pertes qui leur sont associées.
À chaque réentrainement ou modification du modèle, sa performance économique est réévaluée en intégrant la nouvelle distribution des données et/ou les modifications apportées.
Vision d'ensemble de la solution
Préparation du jeu de validation à fournir
Le jeu de données doit contenir les mêmes caractéristiques utilisées pour entraîner le modèle, avec les mêmes transformations ou normalisations appliquées.
La première ligne du fichier doit correspondre à l'en-tête listant les noms des variables.
Les colonnes Predict et Actual ne doivent pas contenir de valeurs manquantes.
Le jeu de données peut être fournie au format CSV ou XLSX (sans formules de calcul).
Le jeu de données doit être accompagné d'une description des features.
Les données de validation doivent être distinctes des jeux de données d'entraînement pour éviter les biais et garantir une évaluation indépendante.
Le jeu de données doit refléter la distribution réelle des données que le modèle rencontrera en production, en termes de variété, de classes cibles, et de distributions des features. Si les données réelles sont déséquilibrées, le jeu de validation doit également refléter ces proportions.
Le jeu de données doit contenir un nombre suffisamment grand d'observations pour fournir une évaluation statistiquement significative.
Il doit inclure des exemples de toutes les sous-populations pertinentes afin d’éviter les biais algorithmiques liés à des groupes sous-représentés.
Si possible, le jeu de données doit inclure des cas limites, des perturbations ou des anomalies typiques pour tester la robustesse du modèle.
Réservez une démonstration et découvrez comment Insightbounds peut accélérer vos processus de validation
Tarification de la solution
Reposez-vous sur notre solution pour accélérer et fiabiliser vos processus de validation de modèles
Core
Fonctionnalités :
Analyse des dépendances statistiques au sein de votre jeu de validation
Audit du signal contenu dans les variables explicatives
Identification et description des régions où le modèle génère des erreurs de façon répétable
Calcul de métriques statistiques évaluant les régions à risque
499 $ / mois
Standard
Fonctionnalités :
Toutes les fonctionnalités du niveau Core, plus :
Documentation automatisée des limites d’utilisation du modèle (LLM)
Visualisation des régions où le modèle n'est pas fiable
Comparaison des régions à risque pour différentes versions du modèle
Évaluation de la performance économique de votre modèle
999 $ / mois
Pro
Fonctionnalités :
Toutes les fonctionnalités du niveau Standard, plus :
Connection à l’API du modèle
Calibration des niveaux d’incertitude relatifs aux prédictions (conformal prédiction)
Identification des régions à risque du modèle selon le niveau d’incertitude (calcul des frontières des régions par niveau d’alpha)
1,999 $ / mois
Pour les organisations souhaitant réaliser une souscription groupée :
Nous offrons des options tarifaires et un accompagnement personnalisé dans le cadre d'une souscription groupée.
Un escompte de 30% est offert dans le cas d'une souscription de 10 abonnements.
Services gérés
Vous souhaitez libérer vos équipes internes des tâches complexes de validation de modèles ?
Nos experts peuvent produire les livrables réglementaires sur une base régulière pour vous.
Cartographie des régions à risque
Identification des plages d'entrée où le modèle est performant et des régions à risque
Réévaluation des zones de confiance et des régions à risque grâce à des validations régulières
Notifications en cas de risque détecté (décision hors des zones de confiance, données hors distribution, ...)
Vérifications réglementaires
Définition des contextes d'utilisation recommandés et interdits
Vérification des alignements avec les réglementations et les standards internes
Vérification du respect des principes d'équité
Documentation des hypothèses sur lesquelles repose le modèle
Production de recommandations
Rédaction d'un plan de contingence et des actions correctives à mettre en place en cas de résultats inattendus ou de performances insuffisantes du modèle
Propositions d'amélioration ou de remplacement des modèles
Définition des régions de perte maximale et calcul des pertes causées par les erreurs ou limitations du modèle
L'équipe
Michael Albo
MSc Computer Science, MBA
Ayant construit son expérience des deux côtés de l'Atlantique, Michael travaille depuis 30 ans au carrefour de l'informatique, des mathématiques d'aide à la décision et de la finance.
Depuis plus de 10 ans, il conçoit et déploie en production des modèles d'apprentissage machine permettant d'optimiser les processus critiques de ses clients.
Michael est un expert canadien en audit et validation de modèles d'apprentissage machine.
David Streliski
MSc, CFA, Qualified Risk Director
Fort de 28 ans d’expérience, David dirige des projets d’affaires et technologiques pour de grandes institutions financières, firmes d’investissement, cabinets d’audit au Canada et en Suisse.
Ex-enseignant à HEC Montréal et expert en gouvernance, gestion des risques, conformité et finance quantitative, David est un interlocuteur privilégié pour relever les défis liés aux étapes de conception, validation, déploiement, surveillance et audit des modèles.
Noé Aubin-Cadot
MSc Mathematics
Scientifique des données et expert en modélisation mathématique, Noé a passé six années doctorales à travailler sur une panoplie de théories mathématiques de pointe et de méthodes numériques permettant de simuler des phénomènes physiques.
Depuis 5 ans, il développe des modèles d'apprentissage machine et met son expertise au service des problèmes d'affaires d'entreprises canadiennes de différents secteurs.
Politique de confidentialité
Dernière mise à jour : 2 Décembre 2024
Insightsolver, concepteur de la solution Insightbounds, s’engage à protéger la vie privée de ses prospects et utilisateurs et à respecter les lois applicables en matière de protection des renseignements personnels. Cette politique explique comment nous collectons, utilisons et protégeons vos renseignements personnels dans le cadre de nos services.
1. Collecte des renseignements personnels
Nous collectons vos renseignements personnels uniquement lorsque cela est nécessaire pour fournir nos services, améliorer votre expérience utilisateur ou respecter nos obligations légales. Les types de renseignements que nous collectons incluent, mais ne sont pas limités à :
• Renseignements d'identification : Nom, prénom, adresse courriel, numéro de téléphone, organisation.
• Données d’utilisation : Adresse IP, type de navigateur, préférences, interactions avec nos services.
• Informations financières (le cas échéant) : Numéro de carte de crédit ou détails de facturation.Nous collectons ces renseignements directement auprès de vous lorsque vous :
• Créez un compte sur notre plateforme.
• Utilisez nos services ou fonctionnalités.
• Contactez notre service d’assistance.
2. Finalités de la collecte
Les renseignements personnels sont utilisés pour les finalités suivantes :
• Fournir et personnaliser nos services.
• Gérer les paiements et la facturation.
• Communiquer avec vous concernant nos services, mises à jour ou support technique.
• Respecter nos obligations légales et réglementaires.
• Améliorer nos produits et analyser l’utilisation de notre plateforme.
3. Consentement
Nous obtenons votre consentement explicite avant de collecter, utiliser ou communiquer vos renseignements personnels, sauf dans les cas prévus par la loi. Vous pouvez retirer votre consentement à tout moment en nous contactant à l’adresse mentionnée ci-dessous. Cependant, cela pourrait limiter votre accès à certains services.
4. Partage des renseignements personnels
Nous ne partageons vos renseignements personnels avec des tiers dans les circonstances suivantes :
• Fournisseurs de services : Partenaires technologiques ou prestataires tiers nécessaires pour fournir nos services (hébergement cloud, opérateur de paiement, plateforme de support technique).
• Obligations légales : Lorsque requis par la loi ou dans le cadre de procédures judiciaires.
5. Sécurité des données
Nous appliquons des mesures de sécurité physiques, administratives et technologiques pour protéger vos renseignements personnels contre tout accès, utilisation ou divulgation non autorisé(e).
En cas d’incident de confidentialité présentant un risque sérieux de préjudice, nous informerons la Commission d’accès à l’information du Québec et les personnes concernées conformément à la loi.
6. Vos droits
Vous avez les droits suivants concernant vos renseignements personnels :
• Accès : Obtenir une copie des renseignements que nous détenons sur vous.
• Rectification : Corriger toute information inexacte ou incomplète.
• Retrait du consentement : Retirer votre consentement à tout moment.
• Suppression : Demander la suppression de vos renseignements personnels, sous réserve des obligations légales.
Pour exercer ces droits, veuillez nous contacter à l’adresse mentionnée dans la section 8.
7. Conservation des renseignements
Nous conservons vos renseignements personnels uniquement pour la durée nécessaire à la réalisation des finalités énoncées dans cette politique, sauf si une période de conservation plus longue est requise ou permise par la loi.
8. Contactez-nous
Pour toute question ou demande liée à la présente politique de confidentialité ou à vos droits, vous pouvez nous contacter :Adresse postale :
Insightsolver
4 Pl. Ville-Marie Suite 300,
Montreal, Quebec H3B 2E7Adresse courriel : [email protected]
9. Modifications à cette politique
Nous nous réservons le droit de modifier cette politique à tout moment. Toute modification sera affichée sur notre plateforme. Veuillez consulter cette page régulièrement pour vous tenir informé(e) des mises à jour.
Conditions d'utilisation
Dernière mise à jour : 2 Décembre 2024
Bienvenue sur le site web Insightbounds (« le Site »). En accédant ou en utilisant le Site, vous acceptez de vous conformer aux présentes Conditions d’utilisation. Veuillez les lire attentivement. Si vous n’acceptez pas ces conditions, veuillez ne pas utiliser le Site.
1. Acceptation des conditions
En utilisant ce Site, vous confirmez avoir atteint l'âge de la majorité dans votre province de résidence et être légalement capable de conclure un contrat.
2. Utilisation du Site
Vous acceptez d’utiliser le Site uniquement à des fins légales et conformes aux lois en vigueur au Québec et au Canada. Il est interdit de :
• Télécharger, transmettre ou diffuser tout contenu nuisible, illégal, ou offensant.
• Tenter de compromettre la sécurité du Site ou d’en perturber le fonctionnement.
3. Propriété intellectuelle
Tous les contenus du Site (textes, images, logos, vidéos, etc.) sont protégés par des droits d'auteur et appartiennent à InsightSolver ou sont utilisés avec autorisation.
Il est interdit de reproduire, distribuer ou modifier tout contenu sans autorisation écrite préalable.
4. Confidentialité
L’utilisation de ce Site est également soumise à notre Politique de confidentialité. Nous vous encourageons à la lire pour comprendre comment nous collectons, utilisons et protégeons vos informations personnelles.
5. Liens externes
Notre Site peut contenir des liens vers des sites tiers. InsightSolver ne contrôle pas ces sites et décline toute responsabilité quant à leur contenu ou à leurs pratiques.
6. Exclusion de garanties
Le Site et ses contenus sont fournis « tels quels », sans aucune garantie explicite ou implicite, notamment quant à leur exactitude ou leur disponibilité en tout temps.
7. Limitation de responsabilité
En aucun cas, InsightSolver ne pourra être tenue responsable des dommages directs ou indirects découlant de l’utilisation ou de l’incapacité d’utiliser le Site.
8. Modification des conditions
InsightSolver se réserve le droit de modifier ces Conditions d’utilisation à tout moment. Les modifications entreront en vigueur dès leur publication sur le Site. Nous vous encourageons à les consulter régulièrement.
9. Loi applicable et juridiction
Ces Conditions d’utilisation sont régies par les lois de la province de Québec et les lois fédérales applicables du Canada. Tout litige sera soumis à la compétence exclusive des tribunaux de la province de Québec.
10. Contact
Pour toute question concernant ces Conditions d’utilisation, veuillez nous contacter à :
Insightsolver
4 Pl. Ville-Marie Suite 300,
Montreal, Quebec H3B 2E7Courriel : [email protected]