Deploy any AI model, agent, database, RAG, and pipeline locally or remotely in minutes
LlamaFarm 是一个开源的边缘 AI 平台,旨在帮助用户在本地硬件上部署各类 AI 模型、智能体、数据库及 RAG 流水线。它解决了企业级 AI 应用对云端依赖的问题,让用户无需支付 API 费用即可在本地完成数据处理,确保了极高的隐私安全性。
支持构建基于文档的 RAG 应用以及执行 OCR 与结构化数据提取任务。 提供文本分类器训练与异常检测功能,支持处理批量或流式数据。 兼容多种模型运行时,能够无缝切换 Ollama、vLLM 或本地 GGUF 模型。 集成模型上下文协议(MCP),支持连接外部工具以增强模型交互能力。 具备硬件优化特性,可自动适配 Apple Silicon、NVIDIA 和 AMD 等平台的 GPU 或 NPU 加速。
该项目适用于对隐私保护有极高要求、希望降低长期 API 调用成本的个人开发者及企业,特别适合在本地环境构建私有知识库、自动化文档处理及离线 AI 应用场景。