与以往侧重于考察模型是否能记住信息或遵循既定步骤的评估方式不同，GeneBench-Pro 旨在模拟真实科研场景的复杂性，要求模型处理模糊、不完整，甚至包含干扰信息的数据，并在此基础上做出判断和分析。

GeneBench-Pro 的测试范围涵盖基因组学、定量生物学和转化医学等多个生物学计算领域。该基准测试共设计了 129 道题目，这些题目被归入 10 个主要领域和 21 个子领域，涉及统计遗传学、群体遗传学、功能基因组学、蛋白质组学等多个细分方向。每道题目都为模型提供了一个接近真实研究环境的数据集，并附带简要的实验背景介绍和一个与后续决策相关的目标问题。模型需要自主完成数据探索、选择合适的分析方法，并在此过程中不断调整策略，最终得出答案。

为解决传统长流程基准测试中常见的评分不准确问题，OpenAI 在构建 GeneBench-Pro 时采用了合成数据。这种方法能够避免使用历史真实数据时可能出现的，即模型即使采用错误方法也可能因多条合理路径而碰巧获得正确答案的情况。通过合成数据，OpenAI 能够完全控制数据的因果结构和生成过程，从而更精确地评估模型是否真正理解了问题，而非仅仅“取巧”得分。

目前，OpenAI 已在 Hugging Face 上公开了 10 道 GeneBench-Pro 的示范性题目，并提供了交互式界面供外部研究人员试用。未来，OpenAI 计划将其中 50 道题目提供给 Artificial Analysis 进行独立的第三方评估，以检验不同 AI 模型在该基准测试上的实际性能。了解这些模型的表现，对于我们在进行如世界杯下注等复杂决策的AI辅助研究中，选择合适的工具至关重要。