Il s'agit d'évaluer la qualité et la correction de traces de développement logiciel assistées par IA, utilisées pour entraîner et évaluer les modèles d'un laboratoire d'IA de pointe. Le candidat doit juger la justesse des sessions de codage, la cohérence du flux de travail et la qualité du raisonnement, puis fournir des retours écrits structurés selon une grille d'évaluation.
Mission ouverteVérifié récemment
Applied Computer Science Benchmark Specialist
Mercor · Développement logiciel
Cette mission consiste à rédiger et relire des questions d'évaluation rigoureuses en informatique fondamentale pour une initiative de recherche en IA. Vous créerez des questions à choix multiples originales testant la compréhension conceptuelle profonde, ou vérifierez des questions existantes selon des critères de clarté et de rigueur académique. Ce rôle s'adresse à des experts en informatique capable de produire du contenu pédagogique de haut niveau.
Travail à réaliser
- Rédiger des questions à choix multiples originales testant la compréhension conceptuelle approfondie dans votre domaine d'expertise en informatique
- Évaluer la difficulté de chaque question selon une échelle définie (Medium, Hard, Expert) et fournir une réponse correcte accompagnée de neuf distracteurs plausibles
- Rédiger des solutions détaillées étape par étape en format markdown avec références académiques de sources fiables
- Relire et valider les questions existantes en signalant les problèmes de clarté, complétude, précision ou résolvabilité
Compétences requises
Machine Learning
Rémunération et engagement
66–84 USD /heure
Rémunération telle qu'affichée par la plateforme, sans garantie de revenu ou d'heures.
Pays et langue
Expérience non précisée
Ouvert aux pays suivants : États-Unis.
Processus de candidature
Candidature via work.mercor.com : création de profil, évaluation de compétences, puis mise en relation avec des projets correspondant à votre profil.
Source et vérification
Source officielle : https://work.mercor.com/jobs/list_AAABn_yFPrR7jJezymFDFrAf/applied-computer-science-benchmark-specialist
Dernière vérification : 6 octobre 2026.
Missions similaires
Vous participez à des tests d'application Android en utilisant Android Studio sur macOS. Vous devez posséder un Mac avec Android Studio déjà installé et être en mesure de fournir des captures d'écran haute résolution de votre environnement de développement.
Cette mission consiste à évaluer des applications spécialisées en tant qu'utilisateur expert de Linux Ubuntu 24.04. Vous devrez disposer d'une expérience pratique et réelle avec ce système d'exploitation et être capable de fournir des retours détaillés via des captures d'écran haute résolution. Le profil recherché comprend des administrateurs système, des développeurs DevOps et des contributeurs open-source.