A Python framework for self-hosted LLM tool-calling and multi-step agentic workflows
Forge 是一个专门为自托管大语言模型设计的可靠性框架,旨在解决模型在工具调用过程中稳定性不足的问题。该项目通过集成多种防御性机制,使小型模型也能高效处理复杂的工具调用和多步任务流程,显著提升了代理系统的执行成功率。
Forge 提供自动解析纠错和响应验证功能,确保模型生成的工具调用格式精准且逻辑有效。支持自定义工作流结构,允许通过强制步骤和先决条件精细化控制代理的行为逻辑。内置代理服务器模式,可无缝接入现有的智能体框架,为外部调用提供透明的可靠性增强。提供工作流运行器组件,支持任务优先级队列与资源自动抢占,优化了多代理架构在共享 GPU 环境下的运行效率。全面兼容 Ollama、llama.cpp、vLLM 及 Anthropic 等多种主流模型后端。
该项目适用于希望在本地环境下提升 LLM 工具调用成功率的开发者,以及正在构建复杂代理工作流或寻求为现有 AI 应用添加可靠性中间件的技术团队。它特别适合那些需要将小型模型应用于高要求任务,或需要在有限算力资源下协调多个代理协同工作的业务场景。