ADeLe evaluates models by scoring both tasks and models across 18 core abilities, enabling direct comparison between task demands and model capabilities.
这一创新点令人惊讶，因为它将AI评估从简单的任务得分转向了多维能力评估，类似于人类认知能力的多维度测量。这种方法打破了传统AI评估的局限性，揭示了模型在不同能力维度上的真实表现，为AI系统提供了更精细的'认知图谱'。
ADeLe scores tasks across 18 core abilities, such as attention, reasoning, domain knowledge, and assigns each task a value from 0 to 5 based on how much it requires each ability.
令人惊讶的是：ADeLe框架使用18种核心能力来评估任务，包括注意力、推理和领域知识等，并为每个任务分配0到5的评分。这种多维度的评估方法揭示了传统AI评估中忽视的细节，使研究者能够更精确地理解任务难度和模型能力之间的复杂关系。