Il s'agit d'évaluer la qualité et la correction de traces de développement logiciel assistées par IA, utilisées pour entraîner et évaluer les modèles d'un laboratoire d'IA de pointe. Le candidat doit juger la justesse des sessions de codage, la cohérence du flux de travail et la qualité du raisonnement, puis fournir des retours écrits structurés selon une grille d'évaluation.
Mission ouverteVérifié récemment
SWE-Bench Task Auditor
Mercor · Développement logiciel
Cette mission consiste à évaluer la qualité, la justesse et la reproductibilité de tâches d'ingénierie logicielle utilisées pour entraîner et tester les modèles d'IA d'un laboratoire de pointe. Le candidat audite des tâches au niveau des dépôts, des correctifs de référence, des harnais de test et l'intégrité du système de notation, en fournissant des retours structurés basés sur une grille d'évaluation.
Travail à réaliser
- Évaluer la qualité et la correction des tâches de benchmark d'ingénierie logicielle
- Auditer les correctifs de référence, les test runners et l'isolation Docker pour détecter les fuites d'information ou manipulations de récompenses
- Analyser les tâches au niveau des dépôts et vérifier l'intégrité du système de notation
- Fournir des retours écrits clairs et structurés basés sur une grille d'évaluation
Compétences requises
PythonTypeScriptJavaC++Docker
Rémunération et engagement
70–90 USD /heure
Rémunération telle qu'affichée par la plateforme, sans garantie de revenu ou d'heures.
Pays et langue
3+ ans d'expérience professionnelle
Ouvert aux pays suivants : États-Unis.
Processus de candidature
Candidature via work.mercor.com : création de profil, évaluation de compétences, puis mise en relation avec des projets correspondant à votre profil.
Source et vérification
Source officielle : https://work.mercor.com/jobs/list_AAABoEpzuF806Dv0eAZAV5rw/swe-bench-task-auditor
Dernière vérification : 6 octobre 2026.
Missions similaires
Vous participez à des tests d'application Android en utilisant Android Studio sur macOS. Vous devez posséder un Mac avec Android Studio déjà installé et être en mesure de fournir des captures d'écran haute résolution de votre environnement de développement.
Cette mission consiste à évaluer des applications spécialisées en tant qu'utilisateur expert de Linux Ubuntu 24.04. Vous devrez disposer d'une expérience pratique et réelle avec ce système d'exploitation et être capable de fournir des retours détaillés via des captures d'écran haute résolution. Le profil recherché comprend des administrateurs système, des développeurs DevOps et des contributeurs open-source.