标题：EVENS: Equality versus Equity Notion Spectrum of LLMs

作者：陈卿静，程荣鑫，谢子恒，刘妍，赵康馨，李沛铭，申卫星，刘云，Antonino Rotolo

陈卿静为计算法学2021级硕士毕业生（现为博洛尼亚大学“法律、科学与技术”项目博士研究生），谢子恒为计算法学2022级硕士研究生，赵康馨、李沛铭为计算法学2023级硕士研究生，程荣鑫、刘妍为计算法学2024级硕士研究生。申卫星，刘云，Antonino Rotolo为通讯作者。

摘要：

对COMPAS这一用于评估罪犯再犯风险的工具的争议，揭示了计算机科学与人文社会科学在“公平”概念上的显著差异，凸显了将计算公平性指标与人文解释相对齐的必要性。为此，我们提出 EVENS（Equality versus Equity Notion Spectrum of LLMs，大模型平等与公平概念光谱），用于评估大语言模型对“平等”（equality）与“公平”（equity）理解的差异。主要贡献包括：（1）基于逻辑语句构建“平等–公平”概念光谱，并结合多个关键公平议题场景生成相应数据集。（2）通过注入该数据集测试模型初始立场，并运用检索增强生成（RAG）技术，评估模型在外部法律标准和内部组织规范下的立场调整；引入链式思考（CoT）提示，引导模型进行公平性推理；加入“不确定性”选项以观察其对模型回答的影响。

实验结果表明，大语言模型初始更倾向于平等的立场，因为其关注数据形式上的无偏性，未能深入推理实质公平；运用RAG引入公平相关的外部法律标准和内部组织规范，可促使模型调整立场，更好地理解公平概念。CoT 对中文模型的公平推理效果显著，但也可能助长对自身偏见的合理化。“不确定性”选项则使模型回答更为谨慎。

代码与数据集链接如下：https://github.com/CrexCheng/EVEN

Fig 1. The Framework of EVENS

Fig 2. An Example of Introducing RAG, COT, and Uncertain choice to EVENS

会议简介：

自1987年以来，国际人工智能与法律会议（ICAIL）是主要专注于人工智能与法律研究的会议。该会议由国际人工智能与法律协会（IAAIL）每两年举办一次，并得到了美国人工智能促进协会（AAAI）的合作支持。会议论文集由ACM出版。