在家运行100B+语言模型：使用Langchain和Petals的指南

人工智能语言模型的发展日新月异，Petals使得运行百万亿参数的模型在家成为可能。通过BitTorrent风格的分布式计算，Petals让个人用户能够参与到大型模型的计算中。而借助Langchain，您可以轻松地与Petals模型进行交互。这篇文章将带您了解如何在家中配置和使用Langchain与Petals。

1. 引言

使用大语言模型以往需要强大的计算资源，但Petals通过分布式的方式，将模型的计算过程分散到多个用户的计算资源中。这篇文章将指导您如何在本地安装和配置Petals，并使用Langchain来与Petals模型交互。

2. 主要内容

安装 Petals

要使用 Petals API，需要先安装 petals 包。您可以使用下面的命令通过 pip 进行安装：

!pip3 install petals

对于 Apple Silicon(M1/M2) 用户，请按照此指南进行安装。

导入所需库

在开始之前，需要导入必要的库：

import os

from langchain.chains import LLMChain
from langchain_community.llms import Petals
from langchain_core.prompts import PromptTemplate

设置环境 API 密钥

您需要从 Huggingface 获取 API 密钥。以下代码用于输入和设置 API 密钥：

from getpass import getpass

HUGGINGFACE_API_KEY = getpass()  # 输入您的 Huggingface API 密钥

os.environ["HUGGINGFACE_API_KEY"] = HUGGINGFACE_API_KEY

创建 Petals 实例

在创建 Petals 实例时，您可以指定多个参数，例如模型名称、最大新令牌数、温度等。

llm = Petals(model_name="bigscience/bloom-petals")

注意：下载大型文件可能需要几分钟时间。为了提高访问稳定性，建议使用API代理服务。

创建一个提示模板

我们将创建一个简单的问答提示模板。

template = """Question: {question}

Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)

启动 LLMChain

使用创建的提示模板和 Petals 模型，我们可以启动 LLMChain。

llm_chain = LLMChain(prompt=prompt, llm=llm)

运行 LLMChain

现在，您可以提供一个问题并运行链条来获取答案。

question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"

llm_chain.run(question)

3. 代码示例

以下是一个完整的代码示例，展示了如何安装、配置和运行 Petals 和 Langchain：

!pip3 install petals

import os
from langchain.chains import LLMChain
from langchain_community.llms import Petals
from langchain_core.prompts import PromptTemplate
from getpass import getpass

HUGGINGFACE_API_KEY = getpass()  # 输入您的 Huggingface API 密钥
os.environ["HUGGINGFACE_API_KEY"] = HUGGINGFACE_API_KEY

llm = Petals(model_name="bigscience/bloom-petals")

template = """Question: {question}

Answer: Let's think step by step."""

prompt = PromptTemplate.from_template(template)
llm_chain = LLMChain(prompt=prompt, llm=llm)

question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"
answer = llm_chain.run(question)
print(answer)

4. 常见问题和解决方案

• 下载速度慢：由于文件较大，下载可能需要较长时间。建议使用可靠的网络连接，或者尝试API代理服务提高下载速度。
• API 访问限制：在某些地区，访问API可能受限。解决方案是使用API代理服务来绕过这些限制。

5. 总结与进一步学习资源

使用 Petals 和 Langchain，您可以轻松地在本地运行和测试大型语言模型。这种方法不仅成本低廉，还能让更多的个人开发者参与到前沿技术的研究中。要深入学习更多内容，建议查看以下资源：

• Langchain 文档
• Petals 项目主页

6. 参考资料

• Langchain API 文档: LLMChain | Petals | PromptTemplate

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—