little-coder

一款针对小型本地模型调优的编程代理，构建于 pi 之上。

关于这一切背后的研究故事——为何脚手架（scaffold）与模型的适配性至关重要、一个 9.7B 的 Qwen 模型是如何在 Aider Polyglot 评测中击败前沿模型的、以及这些承重机制的实际作用——请参阅 Substack 文章：Honey, I Shrunk the Coding Agent。如果你想了解“为什么”，请先阅读该文；如果你想了解“怎么做”，请继续阅读本文。

与 pi 的关系

pi 是最小化的底层基础设施——包含代理循环（agent loop）、多提供商 API、TUI（终端用户界面）、会话树、压缩机制及扩展模型。它内置了四个工具（读取/写入/编辑/Bash）以及约 1000 token 的系统提示词。

little-coder 是 pi + 20 个扩展 + 30 个技能 Markdown 文件 + 一个 Python 基准测试工具集。它既没有 fork pi，也没有遮蔽其 CLI——pi 在 package.json 中仅仅是一个普通的依赖项，而所有 little-coder 特有的内容都存放在 .pi/extensions/、skills/ 和 benchmarks/ 目录下。启动器在运行时会使用 --no-extensions 参数启动 pi，并精确加载捆绑的扩展集。因此，你可以通过将文件夹放入 .pi/extensions/（或者在启动时传入 little-coder -e /path/to/ext/index.ts）来添加自己的扩展，通过删除文件夹来移除我们的扩展。请注意，这意味着全局 pi install 安装的包在 little-coder 内部不会加载，因为 pi install 会注册到 pi 的全局设置中，而 --no-extensions 会跳过这些设置。

如果你从未使用过 pi，建议先粗略浏览 pi.dev —— 本文档后续内容假设你已了解 pi 的 --agent-import-path、--mode rpc 和 .pi/extensions/ 自动发现机制。

安装

一行命令安装（需要 Node.js 22.19+）：

curl -fsSL https://raw.githubusercontent.com/itayinbarr/little-coder/main/install.sh | bash

或直接使用 npm：

npm install -g little-coder

或使用 bun：

bun add -g little-coder

这就是完整的安装过程。无需 clone 代码库，无需在工作区执行 npm install，无需修改 PATH 变量。little-coder 现在已加入你的 PATH，可在任何目录下运行。

给 bun add -g 用户的提示： 启动器 (bin/little-coder.mjs) 是一个顶行写有 #!/usr/bin/env node 的 Node.js 脚本，因此要启动二进制文件，Node.js ≥ 22.19 必须存在于你的 PATH 中——bun 适合安装/更新包，但运行时环境是 Node。如果你想要完全无 Node 的设置，请将 $(bun pm bin -g)/little-coder 中的 shebang 替换为 #!/usr/bin/env bun。

运行

cd ~/your-project
little-coder --model llamacpp/qwen3.6-35b-a3b

这是 little-coder 针对的核心配置：一个运行 Qwen3.6-35B-A3B 模型的本地 llama.cpp 服务器。请参阅下方的 本地模型设置（可选） 以了解如何部署该服务。

云端模型的使用方式相同：

little-coder --model anthropic/claude-haiku-4-5
little-coder --model openai/gpt-4o-mini "What does this codebase do?"
little-coder --model ollama/qwen3.5             # 本地 Ollama
little-coder --model lmstudio/local-model       # 本地 LM Studio (加载任意模型)
little-coder --list-models                      # 查看 pi 支持的所有模型

该代理使用你启动它所在的目录作为工作目录——Read / Write / Edit / Bash 操作的是你的项目文件，而不是 little-coder 的安装路径。

对于本地提供商（llama.cpp, Ollama, LM Studio），即使本地服务器会忽略它，pi 仍期望 API-key 环境变量中有值：

export LLAMACPP_API_KEY=noop
export OLLAMA_API_KEY=noop
export LMSTUDIO_API_KEY=noop

LLAMACPP_BASE_URL、OLLAMA_BASE_URL 和 LMSTUDIO_BASE_URL 会覆盖默认值（http://127.0.0.1:8888/v1、http://127.0.0.1:11434/v1、http://127.0.0.1:1234/v1）。

对于云端提供商，只需设置标准环境变量（ANTHROPIC_API_KEY、OPENAI_API_KEY 等），pi 会自动发现它们。

本地模型设置（可选）

如果你使用云端模型，请跳过此章节。

方案 A — llama.cpp（本地运行最快；支持 Qwen3.6-35B-A3B MoE 模型）：

# 一次性操作：编译支持 CUDA 的 llama.cpp (sm_XXX = 你的 GPU 架构；Blackwell 为 120)
git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES=120 -DLLAMA_CURL=ON
cmake --build build --config Release -j

# 获取 GGUF 模型文件和匹配的视觉投影器（vision projector）。
# mmproj (~900 MB) 是让模型能够查看截图的关键。
pip install -U "huggingface_hub[cli]"
hf download unsloth/Qwen3.6-35B-A3B-GGUF Qwen3.6-35B-A3B-UD-Q4_K_M.gguf --local-dir ~/models
hf download unsloth/Qwen3.6-35B-A3B-GGUF mmproj-F16.gguf            --local-dir ~/models

# 启动服务 (MoE 技巧：专家存放在 RAM 中，注意力计算在 GPU 上 → 8 GB 显存即可运行 22 GB 模型)
build/bin/llama-server -m ~/models/Qwen3.6-35B-A3B-UD-Q4_K_M.gguf \
   --mmproj ~/models/mmproj-F16.gguf \
   --host 127.0.0.1 --port 8888 --jinja \
   -c 16384 -ngl 99 --n-cpu-moe 999 --fl