你要的 AI Agent 工具都在这里

只有让LLM（大模型）学会使用工具，才能做出一系列实用的AI Agent，才能发挥出LLM真正的实力。本篇，我们让AI Agent使用更多的工具，比如：外部搜索、分析CSV、文生图、执行代码等。

一、使用工具的必要性

LLM（大模型）如果没有使用工具的能力，那就相当于一个有着聪明大脑但四肢僵硬的渐冻人，什么事儿也做不了。人类之所以区别于动物，正是因为学会了使用工具。因此，赋予LLM使用工具的能力至关重要。

我们需要 LLM去帮助执行各种任务。而Tool（工具）就是LLM 在执行任务过程中，能够调用的外部能力。比如：需要检索外部资料时，可以调用检索工具；需要执行一段代码时，可以调用自定义函数去执行。

二、LangChain的Tool规范

所有的工具肯定要遵守一套规范，才能让LLM随意调用。为此，LangChain 抽象出一个Tool 层，只要是遵守这套规范的函数就是 Tool 对象，就可以被 LLM调用。

1. Tool规范

Tool的规范也简单，只要有三个属性就行：name、description和function。

name：工具的名称。
description：对工具的功能描述，后续这个描述文本会添加到Prompt（提示词）中，LLM 将根据description来决定是否调用该工具。
function：此工具实际运行的函数。

只要遵守这个规范就行，使用形式可以有多种，下文的实践代码会介绍到。

2. Agent使用工具的流程

让AI Agent使用工具，需要定义Agent和AgentExecutor。AgentExecutor维护了Tool.name到Tool的Map 结构。

LLM根据Prompt（包含了Tool的描述）和用户的问题，判断是否需要调用工具，确定某个工具后，在根据Tool的名称和调用参数，到映射Map 中获找Tool实例，找到之后调用Tool实例的function。

三、如何使用各种Tool

自定义Tool只需要遵守以上规范就可以，下面以几个常用的工具做示例。

下文有些工具用到了toolkits。toolkits是LangChain提供的工具包，旨在简化使用工具的成本，toolkits里提供了丰富的工具，还在不断叠加，大部分的工具都可以在里面找到。

1. 外部搜索

使用外部搜索工具。本文使用的是serpapi，serpapi集成了Google、百度等多家搜索引擎，通过api的形式调用，非常方便。

官网地址：https://serpapi.com/。可以自行注册，有一些免费额度。外部搜索工具定义如下：

# 1. 使用@tool装饰器，定义搜索工具
@tool
def search(query: str) -> str:
    """只有在需要了解实时信息 或 不知道的事情的时候 才会使用这个工具，需要传入要搜索的内容。"""
    serp = SerpAPIWrapper()
    result = serp.run(query)
    return result

2. 文生图

文生图工具是使用LangChain社区提供的DallEAPIWrapper类，本文使用OpenAI的图片生成模型Dall-E-3，具体代码如下：

# 2. 使用Tool工具类，定义图片生成工具
dalle_image_generator = Tool(
    name="基于OpenAI Dall-E-3的图片生成器",
    func=DallEAPIWrapper(model="dall-e-3").run,
    description="OpenAI DALL-E API 的包装器。当你需要根据 描述的文本 生成图像时 使用此工具，需要传入 对于图像的描述。",
)

这里的DallEAPIWrapper(model=”dall-e-3″).run方法就是个函数，实际是去调用了OpenAI的接口。

3. 代码执行器

代码执行器工具，可以执行代码或者根据自然语言生成代码。主要使用LangChain提供的PythonREPLTool 和 LangChain提供的toolkits。

比如create_python_agent就简化了创建Python解释器工具的过程。代码如下：

# 3. 使用toolkit，定义执行Python代码工具
python_agent_executor = create_python_agent(
    llm=model,
    tool=PythonREPLTool(),
    verbose=True,
    agent_executor_kwargs={"handle_parsing_errors": True},
)

4. 分析CSV

CSV工具，用来分析csv文件。依旧是使用toolkits工具包里的create_csv_agent函数快出创建工具。代码如下：

# 4. 使用toolkit，定义分析CSV文件工具
csv_agent_executor = create_csv_agent(
    llm=model,
    path="course_price.csv",
    verbose=True,
    agent_executor_kwargs={"handle_parsing_errors": True},
    allow_dangerous_code=True,
)

5. 完整代码

上面介绍了AI Agent的常用工具，定义好工具之后，在把工具放入到工具集中，最后在定义Agent 和 AgentExecutor就算完成了。短短几十行代码，就可以让LLM使用这么多工具了。

完整代码如下：

import os
from langchain import hub
from langchain_openai import ChatOpenAI
from langchain.agents import create_structured_chat_agent, AgentExecutor, Tool
from langchain.tools import BaseTool, StructuredTool, tool
from langchain_experimental.agents.agent_toolkits import (
    create_python_agent,
    create_csv_agent,
)
from langchain_community.utilities import SerpAPIWrapper
from langchain_experimental.tools import PythonREPLTool
from langchain_community.utilities.dalle_image_generator import DallEAPIWrapper

# 需要先安装serpapi, pip install serpapi, 还需要到 https://serpapi.com/ 去注册账号

# SERPAPI_API_KEY 和 OPENAI 相关密钥，注册到环境变量
os.environ["SERPAPI_API_KEY"] = (
    "9dd2b2ee429ed996c75c1daf7412df16336axxxxxxxxxxxxxxx"
)
os.environ["OPENAI_API_KEY"] = "sk-a3rrW46OOxLBv9hdfQPBKFZtY7xxxxxxxxxxxxxxxx"
os.environ["OPENAI_API_BASE"] = "https://api.302.ai/v1"

model = ChatOpenAI(model_name="gpt-3.5-turbo")


# 基于reAct机制的Prompt模板
prompt = hub.pull("hwchase17/structured-chat-agent")



# 各种方式定义工具

# 1. 使用@tool装饰器，定义搜索工具
@tool
def search(query: str) -> str:
    """只有在需要了解实时信息 或 不知道的事情的时候 才会使用这个工具，需要传入要搜索的内容。"""
    serp = SerpAPIWrapper()
    result = serp.run(query)
    return result


# 2. 使用Tool工具类，定义图片生成工具
dalle_image_generator = Tool(
    name="基于OpenAI Dall-E-3的图片生成器",
    func=DallEAPIWrapper(model="dall-e-3").run,
    description="OpenAI DALL-E API 的包装器。当你需要根据 描述的文本 生成图像时 使用此工具，需要传入 对于图像的描述。",
)

# 3. 使用toolkit，定义执行Python代码工具
python_agent_executor = create_python_agent(
    llm=model,
    tool=PythonREPLTool(),
    verbose=True,
    agent_executor_kwargs={"handle_parsing_errors": True},
)

# 4. 使用toolkit，定义分析CSV文件工具
csv_agent_executor = create_csv_agent(
    llm=model,
    path="course_price.csv",
    verbose=True,
    agent_executor_kwargs={"handle_parsing_errors": True},
    allow_dangerous_code=True,
)

# 定义工具集合
tool_list = [
    search,
    dalle_image_generator,
    Tool(
        name="Python代码工具",
        description="""
        当你需要借助Python解释器时，使用这个工具。
        比如当你需要执行python代码时，
        或者，当你想根据自然语言的描述生成对应的代码时，让它生成Python代码，并返回代码执行的结果。
        """,
        func=python_agent_executor.invoke,
    ),
    Tool(
        name="CSV分析工具",
        description="""
        当你需要回答有关course_price.csv文件的问题时，使用这个工具。
        它接受完整的问题作为输入，在使用Pandas库计算后，返回答案。
        """,
        func=csv_agent_executor.invoke,
    ),
]


# 将工具丢给Agent
agent = create_structured_chat_agent(
    llm=model,
    tools=tool_list,
    prompt=prompt
)

# 定义AgentExecutor
agent_executor = AgentExecutor.from_agent_and_tools(
    agent=agent, 
    tools=tool_list, 
    verbose=True, # 打印详细的 选择工具的过程 和 reAct的分析过程
    handle_parsing_errors=True
)



# 不会使用工具
agent_executor.invoke({"input": "你是谁？"})

# 使用查询工具
# agent_executor.invoke({"input": "南京今天的温度是多少摄氏度？现在外面下雨吗？"})

# 使用Python代码工具
# agent_executor.invoke(
#     {
#         "input": """
#         帮我执行```号里的python代码，
        
#         ```python
            
#             def add(a,b):
#                 return a+b
            
#             print("hello world : ", add(100,200))
#         ```
#         """
#     }
# )

# 使用图片生成工具
# agent_executor.invoke(
#     {
#         "input": "帮我生成一副图片，图片描述如下：一个非常忙碌的中国高中生在准备中国的高考，夜已经很深了，旁边他的妈妈一边看书一边在陪伴他，窗外是模糊的霓虹灯。"
#     }
# )

# 使用CSV分析工具
# agent_executor.invoke({"input": "course_price数据集里，一共有哪几个城市？用中文回答"})

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.
111.
112.
113.
114.
115.
116.
117.
118.
119.
120.
121.
122.
123.
124.
125.
126.
127.
128.
129.
130.
131.
132.
133.
134.
135.
136.
137.
138.

一起看下使用工具后，reAct的整个过程。

以上代码经过完整调试，更换下openai和serpapi的密钥即可直接运行。

世界人工智能论坛

作者yinhua

一、使用工具的必要性

二、LangChain的Tool规范

1. Tool规范

2. Agent使用工具的流程

三、如何使用各种Tool

1. 外部搜索

2. 文生图

3. 代码执行器

4. 分析CSV

5. 完整代码

作者 yinhua

相关文章

厉害了！Adobe新出Firefly视频模型，2分钟速成高清大片

突发！OpenAI发布最强模型o1：博士物理92.8分，IOI金牌水平

边缘智能的新时代：端侧大模型的研究进展综述

发表回复取消回复

您错过的

厉害了！Adobe新出Firefly视频模型，2分钟速成高清大片

突发！OpenAI发布最强模型o1：博士物理92.8分，IOI金牌水平

边缘智能的新时代：端侧大模型的研究进展综述

无图NOA：一场对高精地图的祛魅！2024在线高精地图方案的回顾与展望

世界人工智能论坛

作者yinhua

一、使用工具的必要性

二、LangChain的Tool规范

1. Tool规范

2. Agent使用工具的流程

三、如何使用各种Tool

1. 外部搜索

2. 文生图

3. 代码执行器

4. 分析CSV

5. 完整代码

作者 yinhua

相关文章

发表回复 取消回复

您错过的

发表回复取消回复