M
Maximilian-Winter/llama-cpp-agent
The llama-cpp-agent framework is a tool designed for easy interaction with Large Language Models (LLMs). Allowing users to chat with LLM models, execute structured function calls and get structured output. Works also with models not fine-tuned to JSON output and function calls.
agentsfunction-callingllamacppllmllm-agentllm-frameworkllmsparallel-function-call
PythonNOASSERTION创建于 2023/12/29更新于 2 天前
README
由 Gemini 翻译整理
llama-cpp-agent
项目已停止维护。请改用 ToolAgents 或其他 Python Agent 框架。
[]
简介
llama-cpp-agent 框架旨在简化与大语言模型（LLM）的交互。它提供了一个接口，用于与 LLM 进行对话、执行函数调用、生成结构化输出、执行检索增强生成（RAG），以及使用带有工具的 Agent 链来处理文本。
该框架使用引导采样（guided sampling）将模型输出约束为用户定义的结构。通过这种方式，即使是没有针对函数调用和 JSON 输出进行微调的模型，也能够实现这些功能。
该框架兼容 llama.cpp server、llama-cpp-python（及其 server）、TGI server 以及 vllm server。
核心功能
- 简洁的聊天界面：与 LLM 进行流畅的对话。
- 结构化输出：从 LLM 生成结构化输出（对象）。
- 单次及并行函数调用：利用 LLM 执行函数。
- RAG - 检索增强生成：结合 ColBERT 重排序（reranking）执行检索增强生成。
- Agent 链：使用带有工具的 Agent 链处理文本，支持对话式（Conversational）、序列式（Sequential）和映射式（Mapping）链。
- 引导采样：得益于语法和 JSON Schema 生成功能，大多数 7B 参数的 LLM 也能进行函数调用和结构化输出。
- 多供应商支持：可作为提供程序与 llama-cpp-python、llama.cpp server、TGI server 和 vllm server 协同工作！
- 兼容性：支持 Python 函数、Pydantic 工具、llama-index 工具以及 OpenAI 工具 Schema。
- 灵活性：适用于多种应用场景，从休闲聊天到特定的函数执行。
目录
安装
使用 pip 安装 llama-cpp-agent 框架：
pip install llama-cpp-agent
文档
您可以在此处找到最新文档。
快速入门
您可以在此处找到入门指南。
Discord 社区
加入 Discord 社区请点击此处。
使用示例
llama-cpp-agent 框架提供了广泛的示例来展示其功能。以下是一些关键示例：
简单聊天示例使用 llama.cpp server 后端
此示例演示了如何使用 llama.cpp server 后端与 LLM 模型发起对话。
并行函数调用 Agent 示例
此示例展示了如何使用 FunctionCallingAgent 类进行并行函数调用。它演示了如何同时定义和执行多个函数。
结构化输出
此示例说明了如何使用 StructuredOutputAgent 类生成结构化输出对象。它展示了如何从非结构化数据中创建书籍的数据集条目。
RAG - 检索增强生成
此示例演示了结合 ColBERT 重排序的检索增强生成（RAG）。需要安装可选的 RAG 依赖（ragatouille）。