
一、文章主要内容总结本文聚焦波斯语大型语言模型(LLMs)的社会偏见评估缺口,提出了首个针对波斯语语境的偏见基准数据集PBBQ(Persian Bias Benchmark for Question-answering)。研究核心内容包括:数据集构建:通过人机协作模式,结合社会科学专家指导与250名不同人口统计学背景受访者的问卷反馈,筛选出223个波斯文化中广泛认可的刻板印象,覆盖年龄、职业、社会经济地位等16个偏见类别,最终生成37,742条高质量问答样本,包含模糊语境、明确语境及对应正负向问题。模型评估:对8个LLM(开源模型如LLaMA-3.1-8B-Instruct、闭源模型如GPT-4o、波斯语专用微调模型如Maral、Dorna)进行基准测试,采用准确率、偏见得分、不确定性得分三类指标。关键发现:所有受测模型均存在显著社会偏见,16个类别中有12类偏见表现突出;波斯语专用模型的偏见程度整体高于其他两类模型;模型偏见与人类偏见模式存在较强一致性,且模糊语境下模型不确定性更高,明确语境可部分缓解偏见但无法完全消除。伦理与局限:明确数据集仅用于偏见检测与缓解研究,禁止恶意使用;指出研究局限包括未覆盖超大参数模型、未分析交叉偏见、受访者样本量相对有限等。二、文章创新点填补波斯语偏见评估空白:首次构建针对波斯文化语境的偏见基准数据集,解决了现有基准多适用于