ToRA：工具集成推理智能体 (Tool-Integrated Reasoning Agent)

[🌐 网站] • [📜 论文] • [🤗 HF 模型] • [🐱 GitHub]

[🐦 Twitter] • [💬 Reddit] • [🍀 非官方博客]

这是论文“ToRA: A Tool-Integrated Reasoning Agent for Mathematical Problem Solving” [ICLR'2024] 的代码仓库。

图 1：在 7B 到 70B 的 LLaMA-2 基座模型上，ToRA 与基准模型的对比。

🔥 最新动态

• [2023/10/08] 🔥🔥🔥 所有 ToRA 模型已发布至 🤗 HuggingFace!
• [2023/09/29] ToRA 论文、代码库及网站正式发布。

💡 简介

ToRA 是一系列工具集成推理智能体（Tool-integrated Reasoning Agents），旨在通过与计算库和符号求解器等工具交互，解决极具挑战性的数学推理问题。ToRA 系列将自然语言推理与外部工具的使用无缝集成，从而融合了语言的分析能力与外部工具的计算效率。

模型	大小	GSM8k	MATH	AVG@10 数学任务†
GPT-4	-	92.0	42.5	78.3
GPT-4 (PAL)	-	94.2	51.8	86.4
ToRA-7B	7B	68.8	40.1	62.4
ToRA-Code-7B	7B	72.6	44.6	66.5
ToRA-Code-7B + self-consistency (k=50)	7B	76.8	52.5	-
ToRA-13B	13B	72.7	43.0	65.9
ToRA-Code-13B	13B	75.8	48.1	71.3
ToRA-Code-7B + self-consistency (k=50)	13B	80.4	55.1	-
ToRA-Code-34B*	34B	80.7	51.0	74.8
ToRA-Code-34B + self-consistency (k=50)	34B	85.1	60.0	-
ToRA-70B	70B	84.3	49.7	76.9
ToRA-70B + self-consistency (k=50)	70B	88.3	56.9	-

• *ToRA-Code-34B 是目前第一个且唯一在 MATH 数据集上达到 50% 以上准确率（pass@1）的开源模型，其表现显著优于 GPT-4 的 CoT 结果（51.0 对 42.5），并且在通过程序解决问题方面与 GPT-4 具有竞争力。通过开源我们的代码和模型，我们希望能够激发更多的突破！

• † 10 项数学任务包括：GSM8k, MATH, GSM-Hard, SVAMP, TabMWP, ASDiv, SingleEQ, SingleOP, AddSub 和 MultiArith。

工具集成推理

图 2：单轮工具交互的基本示例，展示了如何将逻辑推理与基于程序的工具使用相结合。

ToRA 训练流程

图 3：ToRA 的训练包含 ① 模仿学习 (Imitation Learning)，以及 ② 输出空间塑造 (Output Space Shaping)。

🚀 快速开始

⚙️ 环境配置

我们建议使用 Conda 来管理环境。我们使用 vLLM (0.1.4) 来加速推理。运行以下命令配置环境：

git clone https://github.com/microsoft/ToRA.git && cd ToRA/src
conda create -n tora python=3.10
conda activate tora
pip install packaging==22.0
pip install torch==2.0.1 --index-url https://download.pytorch.org/whl/cu118 # 以 CUDA 11.8 为例
pip install -r requirements.txt

🪁 推理

我们提供了推理脚本。只需在 src/scripts/infer.sh 中配置 MODEL_NAME_OR_PATH 和 DATA，然后运行以下命令：

bash scritps/infer.sh

我们还在 src/outputs/ 文件夹中开源了我们最佳模型（ToRA-Code-34B 和 ToRA-70B）的模型输出结果。

⚖️ 评估

src/eval/grader.py 文件包含了评估逻辑，通过将预测答案与真值（Ground Truth）进行对比来评估准确性。该逻辑基于 Hendrycks 的 MATH 评估系统开发，我们已在 MATH 数据集上手动验证，以尽可能减少假阳性和假阴性结果。

要评估预测答案，请运行以下命令：

python -m eval.evaluate \
    --data_name "math" \
    --prompt_type "tora" \
    --file_path "outputs/llm-agents/tora-code-34b-v1.0/math/test_tora_-1_seed0_t0.0_s0_e5000.jsonl" \
    --execute

运行后你将得到：

Num samples: 5000
Num scores: 5000
Timeout samples: 0
Empty samples: 2
Mean score: [51.0]
Type scores: {'Algebra': 67.3, 'Counting & Probability': 42.2, 'Geometry': 26.1, 'Intermediate Algebra': 40.0, 'Number Theory': 59.3, 'Prealgebra': 70.3}