ThinkGPT 🧠🤖

ThinkGPT 是一个 Python 库，旨在为大语言模型（LLM）实现思维链（Chain of Thoughts），引导模型进行思考、推理，并创建生成式 Agent。该库旨在解决以下问题：

通过长期记忆和压缩知识来解决上下文长度受限的问题
利用高阶推理原语增强 LLM 的单次推理能力
为你的代码库添加智能决策能力

核心功能 ✨

思维构建块 🧱：
- 记忆 🧠：让 GPT 能够记住过往经验
- 自我完善 🔧：通过处理批评意见来改进模型生成的内容
- 知识压缩 🌐：通过从观察中提取规则或总结大篇幅内容来压缩知识，使其适配 LLM 的上下文
- 推理 💡️：基于已知信息进行科学推测
- 自然语言条件 📝：以自然语言轻松表达选择和条件
高效且可衡量的 GPT 上下文长度 📐
得益于 DocArray，安装极其简单且提供符合 Python 习惯的 API 🎯

安装 💻

你可以使用 pip 安装 ThinkGPT：

pip install git+https://github.com/alaeddine-13/thinkgpt.git

API 文档 📚

基础用法：

from thinkgpt.llm import ThinkGPT
llm = ThinkGPT(model_name="gpt-3.5-turbo")
# 让 llm 对象学习新概念
llm.memorize(['DocArray is a library for representing, sending and storing multi-modal data.'])
llm.predict('what is DocArray ?', remember=llm.remember('DocArray definition'))

信息的记忆与回想

llm.memorize([
    'DocArray allows you to send your data, in an ML-native way.',
    'This means there is native support for Protobuf and gRPC, on top of HTTP and serialization to JSON, JSONSchema, Base64, and Bytes.',
])

print(llm.remember('Sending data with DocArray', limit=1))

['DocArray allows you to send your data, in an ML-native way.']

使用 limit 参数可以指定检索的最大文档数。如果你希望将文档适配到特定的上下文大小，也可以使用 max_tokens 参数来指定检索的最大 token 数。例如：

from examples.knowledge_base import knowledge
from thinkgpt.helper import get_n_tokens

llm.memorize(knowledge)
results = llm.remember('hello', max_tokens=1000, limit=1000)
print(get_n_tokens(''.join(results)))

需要注意的是，使用分隔符连接文档会增加最终结果的 token 数量。remember 方法不会计算这些连接符产生的 token。

利用长期记忆中的上下文进行预测

from examples.knowledge_base import knowledge
llm.memorize(knowledge)
llm.predict('Implement a DocArray schema with 2 fields: image and TorchTensor', remember=llm.remember('DocArray schemas and types'))

自我完善 (Self-refinement)

print(llm.refine(
    content="""
import re
    print('hello world')
        """,
    critics=[
        'File "/Users/user/PyCharm2022.3/scratches/scratch_166.py", line 2',
        "  print('hello world')",
        'IndentationError: unexpected indent'
    ],
    instruction_hint="Fix the code snippet based on the error provided. Only provide the fixed code snippet between `` and nothing else."))

import re
print('hello world')

其应用场景之一是 gptdeploy 和 wolverine 等项目实现的自愈式代码生成。

知识压缩

如果你希望知识适配 LLM 的上下文，可以使用以下技术进行压缩：

内容摘要

使用 LLM 本身来总结内容。我们提供两种方法：

使用 LLM 进行单次摘要

llm.summarize(
  large_content,
  max_tokens= 1000,
  instruction_hint= 'Pay attention to code snippets, links and scientific terms.'
)

由于该技术依赖于单次 LLM 调用进行总结，因此只能处理不超过 LLM 上下文长度的内容。

分块摘要

llm.chunked_summarize(
  very_large_content,
  max_tokens= 4096,
  instruction_hint= 'Pay attention to code snippets, links and scientific terms.'
)

该技术通过将内容分割成不同的块，对每个块进行摘要，最后由 LLM 将它们汇总在一起。

从观察中归纳规则

从当前的观察结果中提升到更高层次、更通用的概括：

llm.abstract(observations=[
    "in tunisian, I did not eat is \"ma khditech\"",
    "I did not work is \"ma khdemtech\"",
    "I did not go is \"ma mchitech\"",
])

['Negation in Tunisian Arabic uses "ma" + verb + "tech" where "ma" means "not" and "tech" at the end indicates the negation in the past tense.']

这可以帮助你得到压缩后的知识，从而使其符合上下文长度限制。

jina-ai/thinkgpt