Il s'agit d'évaluer la qualité et la correction de traces de développement logiciel assistées par IA, utilisées pour entraîner et évaluer les modèles d'un laboratoire d'IA de pointe. Le candidat doit juger la justesse des sessions de codage, la cohérence du flux de travail et la qualité du raisonnement, puis fournir des retours écrits structurés selon une grille d'évaluation.
Mission ouverteVérifié récemment
Applied Engineer, Evaluations Role
Mercor · Développement logiciel
Vous construirez et affinerez des évaluations pour tester la performance de modèles de code de frontier en transformant des pull requests en tâches d'ingénierie. Vous utiliserez un framework d'évaluation propriétaire pour valider comment des agents de codage résolvent des problèmes complexes, en identifiant les faiblesses réelles de leurs implémentations. Ce rôle s'adresse à des ingénieurs logiciel avec des fondamentaux solides, capables de naviguer dans des bases de code substantielles et de produire des évaluations rigoureuses.
Travail à réaliser
- Identifier des référentiels avec des pull requests complètes et substantielles, puis les convertir en tâches d'évaluation challengeantes.
- Écrire des prompts de tâche et construire des évaluations en utilisant des tests automatisés, des commandes shell et des critères de notation basés sur LLM.
- Valider les évaluations contre des solutions de référence et des implémentations délibérément défectueuses pour détecter les manques et les erreurs de notation.
- Exécuter les évaluations sur plusieurs modèles et harnesses, puis investiguer les causes des défaillances et affiner les critères d'évaluation.
Compétences requises
PythonJavaScriptTypeScriptJavaRustC++KotlinPHPRubyGitLLM
Rémunération et engagement
100–120 USD /heure
Rémunération telle qu'affichée par la plateforme, sans garantie de revenu ou d'heures.
Pays et langue
Expérience non précisée
Ouvert aux pays suivants : États-Unis.
Processus de candidature
Candidature via work.mercor.com : création de profil, évaluation de compétences, puis mise en relation avec des projets correspondant à votre profil.
Source et vérification
Source officielle : https://work.mercor.com/jobs/list_AAABlzI3p6G_LDaGWuNNEa6l/applied-engineer-evaluations-role
Dernière vérification : 6 octobre 2026.
Missions similaires
Vous participez à des tests d'application Android en utilisant Android Studio sur macOS. Vous devez posséder un Mac avec Android Studio déjà installé et être en mesure de fournir des captures d'écran haute résolution de votre environnement de développement.
Cette mission consiste à évaluer des applications spécialisées en tant qu'utilisateur expert de Linux Ubuntu 24.04. Vous devrez disposer d'une expérience pratique et réelle avec ce système d'exploitation et être capable de fournir des retours détaillés via des captures d'écran haute résolution. Le profil recherché comprend des administrateurs système, des développeurs DevOps et des contributeurs open-source.