跳到正文
arXiv 隐私论文· Mingxuan Li·· 1 天前AI 评分30

SlackBench:在真实代码仓库支撑的协作项目中评测 AI 智能体

SlackBench: Benchmarking Agents on Collaborative Projects Grounded in Real Code Repositories

AI 导读

研究者提出 SlackBench,一个基于真实学术研究项目隐私保护重演构建的基准,用于评测 AI 智能体在工作场所沟通与代码仓库状态上的联合推理能力。该基准包含 140 条查询,覆盖异构来源检索、对不可回答或虚假前提问题的拒答、目标导向摘要和长对话情境推断。在 33 个前沿模型与智能体框架中,最佳系统得分约 80%,多数低于 66%。

来源:arXiv 隐私论文 · arxiv.org