ThinkGPT 🧠🤖

ThinkGPT 是一个 Python 库，旨在为大语言模型（LLMs）实现思维链（Chain of Thoughts），引导模型进行思考、推理，并创建生成式 Agent。

该库旨在解决以下问题：

• 通过长期记忆和压缩知识来解决上下文长度受限的问题
• 利用高阶推理原语增强 LLMs 的单次（one-shot）推理能力
• 为你的代码库添加智能决策能力

核心功能 ✨

• 思维构建模块 🧱：
  • 记忆 🧠：可以让 GPT 记住过往经验
  • 自我改进 🔧：通过处理批判性反馈来优化模型生成的内容
  • 压缩知识 🌐：通过从观察中提取规则或总结大量内容，将知识压缩并适应 LLM 的上下文
  • 推理 💡️：根据现有信息做出有根据的猜测
  • 自然语言条件 📝：以自然语言轻松表达选择和条件
• 高效且可衡量的 GPT 上下文长度 📐
• 得益于 DocArray，配置极其简单且 API 符合 Python 编程习惯 🎯

安装 💻

你可以通过 pip 安装 ThinkGPT：

pip install git+https://github.com/alaeddine-13/thinkgpt.git

API 文档 📚

基本用法：

from thinkgpt.llm import ThinkGPT
llm = ThinkGPT(model_name="gpt-3.5-turbo")
# 让 llm 对象学习新概念
llm.memorize(['DocArray is a library for representing, sending and storing multi-modal data.'])
llm.predict('what is DocArray ?', remember=llm.remember('DocArray definition'))

信息的记忆与回溯

llm.memorize([
    'DocArray allows you to send your data, in an ML-native way.',
    'This means there is native support for Protobuf and gRPC, on top of HTTP and serialization to JSON, JSONSchema, Base64, and Bytes.',
])

print(llm.remember('Sending data with DocArray', limit=1))

['DocArray allows you to send your data, in an ML-native way.']

使用 limit 参数可以指定要检索的最大文档数量。 如果你希望文档适应特定的上下文长度，也可以使用 max_tokens 参数来指定检索的最大 token 数量。 例如：

from examples.knowledge_base import knowledge
from thinkgpt.helper import get_n_tokens

llm.memorize(knowledge)
results = llm.remember('hello', max_tokens=1000, limit=1000)
print(get_n_tokens(''.join(results)))

1000

请注意，使用分隔符拼接文档会增加最终结果的 token 数量。remember 方法不会计算这些拼接产生的额外 token。

基于长期记忆的上下文预测

from examples.knowledge_base import knowledge
llm.memorize(knowledge)
llm.predict('Implement a DocArray schema with 2 fields: image and TorchTensor', remember=llm.remember('DocArray schemas and types'))

自我改进 (Self-refinement)

print(llm.refine(
    content="""
import re
    print('hello world')
        """,
    critics=[
        'File "/Users/user/PyCharm2022.3/scratches/scratch_166.py", line 2',
        "  print('hello world')",
        'IndentationError: unexpected indent'
    ],
    instruction_hint="Fix the code snippet based on the error provided. Only provide the fixed code snippet between `` and nothing else."))

import re
print('hello world')

其应用之一是自我修复代码生成，正如 gptdeploy 和 wolverine 等项目所实现的那样。

压缩知识

如果你希望知识能适配 LLM 的上下文，可以使用以下技术对其进行压缩：

总结内容

使用 LLM 本身来总结内容。 我们提供两种方法：

1. 使用 LLM 进行单次（one-shot）总结

llm.summarize(
  large_content,
  max_tokens= 1000,
  instruction_hint= 'Pay attention to code snippets, links and scientific terms.'
)

由于此技术依赖于单次 LLM 调用进行总结，因此你只能传入不超过 LLM 上下文长度的内容。

2. 分块总结 (Chunked summarization)

llm.chunked_summarize(
  very_large_content,
  max_tokens= 4096,
  instruction_hint= 'Pay attention to code snippets, links and scientific terms.'
)

此技术依赖于将内容拆分为不同的块，总结每个块，然后使用 LLM 将它们汇总在一起。

从观察中归纳规则

从当前的观察结果中归纳出更高级、更通用的观察：

llm.abstract(observations=[
    "in tunisian, I did not eat is \"ma khditech\"",
    "I did not work is \"ma khdemtech\"",
    "I did not go is \"ma mchitech\"",
])

['Negation in Tunisian Arabic uses "ma" + verb + "tech" where "ma" means "not" and "tech" at the end indicates the negation in the past tense.']

这可以帮助你获得能更好地适配上下文的压缩知识。