Vous avez déployé et opéré des agents basés sur des modèles de langage en production, avec une expérience directe de leurs défaillances et de leur adoption réelle en entreprise. Cette mission consiste à partager votre expertise sur la fiabilité, l'évaluation et la mise à l'échelle des agents IA dans des environnements complexes, via des entretiens conversationnels portant sur vos retours d'expérience concrets.
Mission ouverteVérifié récemment
ML Challenge Task Auditor
Mercor · Data & Machine Learning
Vous évaluerez la qualité méthodologique et la rigueur scientifique de tâches d'apprentissage automatique conçues pour entraîner et tester les modèles d'un laboratoire d'IA de pointe. Vous fournirez des retours structurés sur la conception expérimentale, la sélection de modèles et les protocoles d'évaluation, en critiquant les affirmations au regard des résultats observés.
Travail à réaliser
- Évaluer la qualité et la rigueur des protocoles expérimentaux d'apprentissage automatique
- Analyser la conception des expériences, la sélection de modèles et la méthodologie d'évaluation
- Détecter les fuites de données, les biais de métriques et les problèmes de validation croisée
- Fournir des retours détaillés et fondés sur des critères explicites
Compétences requises
PyTorchTensorFlowLLM
Rémunération et engagement
70–90 USD /heure
Rémunération telle qu'affichée par la plateforme, sans garantie de revenu ou d'heures.
Pays et langue
3+ ans d'expérience professionnelle
Ouvert aux pays suivants : États-Unis.
Processus de candidature
Candidature via work.mercor.com : création de profil, évaluation de compétences, puis mise en relation avec des projets correspondant à votre profil.
Source et vérification
Source officielle : https://work.mercor.com/jobs/list_AAABoEpzlEigUmznqXNFkJZb/ml-challenge-task-auditor
Dernière vérification : 6 octobre 2026.
Missions similaires
Vous rejoignez une équipe de red teaming pour tester la robustesse et la sécurité de modèles d'IA conversationnels. Votre mission consiste à générer des entrées adversariales (jailbreaks, injections de prompts, cas de détournement) pour découvrir les vulnérabilités des systèmes d'IA avant leur déploiement. Vous annotez les défaillances, classez les risques et produisez des datasets documentés que les clients peuvent exploiter pour améliorer leurs modèles.
Cette mission consiste à tester des modèles d'IA conversationnels en tant qu'expert en sécurité de l'IA, en générant des données d'entraînement adversariales pour identifier les vulnérabilités. Vous produirez des rapports et des datasets structurés qui permettront aux clients d'améliorer la robustesse et la sécurité de leurs systèmes d'IA. Le profil recherché maîtrise l'analyse critique de contenu, la rigueur méthodologique et la communication technique.