Offre de stage M2 Université de Tours - Détection et typologie de biais dans les LLMs à partir de graphes de connaissances

Détection et typologie de biais dans les LLMs à partir de graphes de connaissances Encadrement Pour plus d'informations, merci de contacter : Arnaud Soulet : arnaud.soulet [at] univ-tours.fr Valentin Nyzam : valentin.nyzam [at] univ-tours.fr Marc Plantevit : marc.plantevit [at] epita.fr Lamine Diop : lamine.diop [at] epita.fr Contexte Les grands modèles de langage (LLMs) peuvent refléter ou amplifier des biais présents dans leurs données d'entraînement [3, 1]. Les graphes de connaissances (KGs) [2] fournissent des faits structurés et une source de vérité utile pour auditer les réponses factuelles des LLMs. Ce stage vise à concevoir et implémenter une méthode automatique pour convertir des faits de KG en requêtes factuelles, interroger un LLM, et détecter / classer différents types de biais dans les réponses. Objectifs Définir une typologie pratique de biais détectables par requêtes factuelles (par exemple, biais factuel, omission, stéréotype de représentation, biais culturel). Concevoir une stratégie de sélection d'arêtes/faits dans un KG (par exemple, Wikidata) pour maximiser l'information utile tout en limitant le nombre de requêtes. Implémenter un pipeline automatique : extraction de faits → génération de prompts → requêtes LLM → évaluation et classement des écarts. Évaluer la méthode sur un LLM (ou plusieurs APIs publiques) et produire un rapport reproductible (code + dataset de tests). Plan de travail Étude bibliographique (biais LLM, KG-to-prompt), prise en main de Wikidata/ SPARQL et d'une API LLM. Conception des templates de prompts et des métriques d'écart (similitude sémantique, exactitude factuelle, score de biais). Algorithme de sélection d'exemples/faits (heuristiques basées sur degré, rareté, centralité, ou apprentissage actif léger). Implémentation du pipeline et premières expériences ; itération sur les prompts et métriques. Évaluation extensive, analyse qualitative des cas de biais, rédaction du rapport et préparation d'une démonstration. Durée & lieu Durée : 5–6 mois (stage M2) Lieu : LIFAT (Université de Tours) Compétences requises Bonnes bases en Python, bibliothèques NLP (par exemple, Transformers/Hugging Face). Connaissances élémentaires en graphes de connaissances (SPARQL, Wikidata) ou motivation pour l'apprendre. Esprit analytique, intérêt pour l'éthique/fairness en IA. (Apprécié) Expérience avec APIs LLM et évaluation automatique (BLEU/ROUGE, embeddings, etc.). Candidature & contacts Envoyer CV, relevé de notes et une courte lettre de motivation à : arnaud.soulet [at] univ-tours.fr valentin.nyzam [at] univ-tours.fr marc.plantevit [at] epita.fr lamine.diop [at] epita.fr Références [1] Zhibo Chu, Zichong Wang, and Wenbin Zhang. Fairness in large language models: A taxonomic survey. ACM SIGKDD explorations newsletter, 26(1):34–48, 2024. [2] Aidan Hogan, Eva Blomqvist, Michael Cochez, Claudia d'Amato, Gerard De Melo, Claudio Gutierrez, Sabrina Kirrane, José Emilio Labra Gayo, Roberto Navigli, Sebastian Neumaier, et al. Knowledge graphs. ACM Computing Surveys (Csur), 54(4):1–37, 2021. [3] Yang Liu, Yuanshun Yao, Jean-Francois Ton, Xiaoying Zhang, Ruocheng Guo Hao Cheng, Yegor Klochkov, Muhammad Faaiz Taufiq, and Hang Li. Trustworthy LLMs: A survey and guideline for evaluating large language models' alignment. arXiv preprint arXiv:2308.05374, 2023.