Expériences de machine learning utilisant Amazon SageMaker avec MLflow

Gérez efficacement les modèles de machine learning et les expériences d'applications de l’IA générative à grande échelle à l'aide de MLflow

Pourquoi utiliser Amazon SageMaker avec MLflow ?

Amazon SageMaker propose une fonctionnalité MLflow gérée pour le machine learning (ML) et l'expérimentation de l'IA générative. Cette fonctionnalité permet aux data scientists d'utiliser facilement MLflow sur SageMaker pour la formation, l'enregistrement et le déploiement de modèles. Les administrateurs peuvent rapidement configurer des environnements MLflow sécurisés et évolutifs sur AWS. Les data scientists et les développeurs de machine learning peuvent suivre efficacement les expériences de machine learning et trouver le modèle adapté à un problème commercial.

Avantages d'Amazon SageMaker avec MLflow

Les data scientists peuvent utiliser MLflow pour suivre toutes les métriques générées lors de la mise au point d'un modèle de base, évaluer le modèle, tester le modèle à l'aide d'échantillons de données, comparer les résultats de chaque modèle côte à côte sur l'interface utilisateur MLflow et enregistrer le modèle adapté à leur cas d'utilisation. Une fois le modèle enregistré, les ingénieurs ML peuvent le déployer dans l'inférence SageMaker.
Vous n'avez pas besoin de gérer l'infrastructure requise pour héberger MLflow. Les data scientists peuvent utiliser toutes les fonctionnalités open-source de MLflow sans que les administrateurs ne se soucient de la surcharge de l'infrastructure. Cela permet d'économiser du temps et de l'argent lors de la configuration d'environnements de science des données. MLflow est intégré à Amazon Identity et Access Management (IAM), ce qui vous permet de configurer le contrôle d'accès basé sur les rôles (RBAC) pour les serveurs de suivi MLflow.
Les modèles enregistrés dans MLflow seront automatiquement enregistrés dans le registre des modèles Amazon SageMaker avec une carte de modèle Amazon SageMaker associée. Cela permet aux data scientists de transférer leurs modèles vers des ingénieurs ML pour le déploiement en production sans changer de contexte. Les ingénieurs ML peuvent déployer des modèles depuis MLflow vers les points de terminaison SageMaker sans créer de conteneurs personnalisés ni reconditionner les artefacts du modèle MLflow.
Au fur et à mesure de l'évolution du projet MLflow, les clients de SageMaker bénéficieront de l'innovation open-source de la communauté MLflow tout en bénéficiant de la gestion de l'infrastructure fournie par AWS.

Suivez les expériences où que vous soyez

Les expériences de machine learning sont réalisées dans divers environnements, notamment des blocs-notes locaux, des IDE, du code de formation basé sur le cloud ou des IDE gérés dans Amazon SageMaker Studio. Avec SageMaker et MLflow, vous pouvez utiliser votre environnement préféré pour entraîner des modèles, suivre vos expériences dans MLflow et lancer l'interface utilisateur MLflow directement ou via SageMaker Studio à des fins d'analyse.

Expériences de journal

Collaborez à l'expérimentation de modèles

Une collaboration d'équipe efficace est essentielle à la réussite des projets de science des données. SageMaker Studio vous permet de gérer et d'accéder aux serveurs de suivi MLflow et aux expériences, ce qui permet aux membres de l'équipe de partager des informations et de garantir la cohérence des résultats des expériences, facilitant ainsi la collaboration.

Gérer de manière centralisée les métadonnées des expériences ML

Évaluer les expériences

Pour déterminer le meilleur modèle à partir de plusieurs itérations, une analyse et une comparaison des performances du modèle sont nécessaires. MLflow propose des visualisations telles que des diagrammes de dispersion, des graphiques à barres et des histogrammes pour comparer les itérations d'entraînement. En outre, MLflow permet d'évaluer les modèles en termes de biais et d'équité.

Évaluez vos expériences de machine learning

Gérez les modèles MLflow de manière centralisée

Plusieurs équipes utilisent souvent MLflow pour gérer leurs expériences, seuls certains modèles devenant candidats à la production. Les organisations ont besoin d'un moyen simple de suivre tous les modèles candidats afin de prendre des décisions éclairées quant aux modèles à mettre en production. MLflow s'intègre parfaitement à SageMaker Model Registry, ce qui permet aux organisations de voir leurs modèles enregistrés dans MLflow apparaître automatiquement dans SageMaker Model Registry, avec une carte modèle SageMaker pour la gouvernance. Cette intégration permet aux data scientists et aux ingénieurs ML d'utiliser des outils distincts pour leurs tâches respectives : MLflow pour l'expérimentation et SageMaker Model Registry pour gérer le cycle de vie de production avec un lignage complet des modèles.

Partagez les mises à jour et les résultats

Déployez des modèles MLflow sur les points de terminaisons SageMaker

Le déploiement de modèles depuis MLflow vers les points de terminaisons SageMaker est fluide, car il n'est pas nécessaire de créer des conteneurs personnalisés pour le stockage des modèles. Cette intégration permet aux clients de tirer parti des conteneurs d'inférence optimisés de SageMaker tout en conservant l'expérience conviviale de MLflow pour la journalisation et l'enregistrement des modèles.

Reproduire et auditer des expériences de machine learning