Consultant.e Senior Test et Recette Agent IA - H/F

Devoteam
France
Workplace: HybridFull timeFunction: QA, Test & Release EngineeringSkills: []

Prendre en autonomie la responsabilité de la recette d’un projet IA : définir la stratégie de tests (globale et spécifique aux agents IA), construire les critères d’évaluation et rédiger les scénarios/cas de tests. Réaliser les tests IHM, API et agents IA (pertinence, robustesse, hallucinations, reproductibilité, performance et cas limites), créer/compléter les jeux de données de test, et identifier/documenter/suivre les anomalies. Travailler quotidiennement avec PO, DEV, IA/Data et métiers.

Loading

Loading job details...

Preparing the role view and application actions.

FursaFursa
Devoteam
Devoteam
14 hours ago

Consultant.e Senior Test et Recette Agent IA - H/F

✓ Verified Job

Canonical indexed version, validated from employer's careers page.

Source: Company careers pageValidated by: Fursa AI
Last checked: 9 hours agoStatus: Live

Job Summary

Prendre en autonomie la responsabilité de la recette d’un projet IA : définir la stratégie de tests (globale et spécifique aux agents IA), construire les critères d’évaluation et rédiger les scénarios/cas de tests. Réaliser les tests IHM, API et agents IA (pertinence, robustesse, hallucinations, reproductibilité, performance et cas limites), créer/compléter les jeux de données de test, et identifier/documenter/suivre les anomalies. Travailler quotidiennement avec PO, DEV, IA/Data et métiers.
Location: France
Workplace: Hybrid
Employment Type: Full time · Permanent
Job Function: QA, Test & Release Engineering
Seniority: Mid level

Key Responsibilities

  • •Définir la stratégie de tests globale du projet et la stratégie spécifique d’évaluation/recette des agents IA.
  • •Rédiger les scénarios et cas de tests.
  • •Réaliser les tests des IHM, API et agents IA.
  • •Tester la pertinence et la robustesse des réponses IA (cohérence, hallucinations, reproductibilité, performance, cas limites).
  • •Créer/completer les jeux de données de test, identifier/documenter/suivre les anomalies et piloter la recette métier avec PO, DEV, IA, Data et métiers.

Key Requirements

  • •Solide expérience en QA et recette fonctionnelle/technique.
  • •Expérience significative sur les tests API.
  • •Maîtrise de JIRA / Xray et du test management avec suivi d’anomalies.
  • •Capacité à construire une stratégie de tests de bout en bout et à structurer la recette.
  • •Expérience obligatoire en recette/évaluation de solutions GenAI, LLM ou agents IA (critères, hallucinations, pertinence, RAG/agents, golden datasets, cas limites, comparaison/qualification).
Languages:French
Tech Stack:ReactJSJavaJIRAXrayBrunoAPILLMAgents IARAGGolden datasets

Company Brief

Devoteam
Devoteam is an IT consulting firm specializing in digital transformation, cloud, cybersecurity, and data solutions for enterprise clients across Europe and the Middle East, combining technology partnerships with management consulting services.
Industry: Consulting
Company Size: Enterprise (1,001+ employees)
Growth: Public Company
Valuation: Public Company (Market Cap in USD)
Funding: IPO / Publicly Listed
Headquarters: Paris, France
Founded: 1995
WebsiteLinkedIn