进阶 ai.google.dev 2026-10-15 02:43:21 · 29 阅读

第15章 任务编排

Gemini 4 Argon 现已上线,欢迎体验。

任务编排

Gemini Robotics ER 模型能够规划任务并推理空间关系,推断出哪些动作需要执行、哪些物体需要移动以达成目标。本页展示了一个示例:通过自定义机器人 API 驱动搬运放置操作,以编排将物品放入碗中的任务。该示例使用标准 Gemini ER 2 模型,流式调用示例请参阅《Gemini ER 2 流式指南》。

完整可运行代码参见 [机器人食谱(Robotics cookbook)](https://ai.google.dev/robotics/canary/robotics_cookbook)。

使用自定义机器人 API

本示例演示了使用自定义机器人 API 进行任务编排,引入了一套专为搬运放置操作设计的模拟(Mock)API。任务是拾取蓝色方块并放入橙色碗中:

本示例使用以下模拟机器人 API:

```python def move(x, y, high): print(f"模拟机器人:移动至坐标 {x}, {y}, {'高于桌面' if high else '降至桌面高度'}")

def setGripperState(opened): print(f"模拟机器人:{'打开夹爪' if opened else '关闭夹爪'}")

robot_origin_y = 300 robot_origin_x = 500

move_function = { "type": "function", "name": "move", "description": "将机械臂移动至指定坐标。", "parameters": { "type": "object", "properties": { "x": {"type": "integer", "description": "相对于原点的 X 坐标"}, "y": {"type": "integer", "description": "相对于原点的 Y 坐标"}, "high": {"type": "boolean", "description": "设为 True 时将机械臂抬升至场景上方以避开障碍物;设为 False 时将夹爪放置在表面。"} }, "required": ["x", "y", "high"] } }

set_gripper_state_function = { "type": "function", "name": "setGripperState", "description": "打开或关闭机器人夹爪。", "parameters": { "type": "object", "properties": { "opened": {"type": "boolean", "description": "True 表示打开夹爪,False 表示关闭夹爪。"} }, "required": ["opened"] } } ```

下面的示例将提示词、图片和工具定义发送给模型,随后运行智能体循环:在每次模型响应后,执行所请求的函数调用(move、setGripperState),并使用 previous_interaction_id 将结果回传至模型,如此循环直至模型不再调用函数或达到步骤上限。

```python prompt = ( "你是一条具有六个自由度的机械臂。" f"用于计算移动轨迹的原点位于归一化点 y={robot_origin_y}, x={robot_origin_x}。" "请将此点作为计算移动轨迹的新 (0,0) 起点,允许 x 和 y 为负值。\n\n" "找到蓝色方块和橙色碗,计算它们相对于原点的坐标。\n" "执行搬运放置操作:拾取蓝色方块并放入橙色碗中。" "调用相应的函数序列以完成此操作。" )

# 1. 初始交互 interaction = client.interactions.create( model=MODEL_ID, input=[{"type": "user_input", "content": [ {"type": "image", "data": img_b64, "mime_type": "image/png"}, {"type": "text", "text": prompt} ]}], tools=[move_function, set_gripper_state_function], generation_config={"thinking_level": "low"} )

print("\n--- 执行编排计划 ---")

max_steps = 15 # 防止无限循环的安全限制 step_count = 0

# 2. 智能体循环 while step_count < max_steps: step_count += 1

# 检查模型是否希望调用任何函数 tool_calls = [step for step in interaction.steps if step.type == "function_call"]

if not tool_calls: # 如果没有调用工具,说明模型已完成序列 print("序列完成。") if interaction.output_text: print(f"模型摘要: {interaction.output_text}") break

function_results = []

for step in tool_calls: function_name = step.name arguments = step.arguments

# 执行模拟函数 if function_name == "move": move(arguments) elif function_name == "setGripperState": setGripperState(arguments) else: print(f"未知函数: {function_name}")

# 3. 创建结果对象告知模型函数执行成功 function_results.append({ "type": "function_result", "name": step.name, "call_id": step.id, "result": [{"type": "text", "text": '{"status": "success"}'}] })

# 4. 将结果回传给模型,传入 previous_interaction_id # 以便模型记住对话历史并生成下一步骤 interaction = client.interactions.create( model=MODEL_ID, previous_interaction_id=interaction.id, tools=[move_function, set_gripper_state_function], input=function_results ) ```

以下展示了基于上述提示词和模拟机器人 API 的可能模型输出,其中包含了模型按顺序编排的机器人函数调用输出:

```text --- 执行编排计划 --- 模拟机器人:打开夹爪 模拟机器人:移动至坐标 160, 440, 高于桌面 模拟机器人:移动至坐标 160, 440, 降至桌面高度 模拟机器人:关闭夹爪 模拟机器人:移动至坐标 160, 440, 高于桌面 模拟机器人:移动至坐标 -250, 60, 高于桌面 模拟机器人:移动至坐标 -250, 60, 降至桌面高度 模拟机器人:打开夹爪 模拟机器人:移动至坐标 -250, 60, 高于桌面 序列完成。 模型摘要: 我已完成任务,将蓝色方块拾取并放入橙色碗中。 ```

下一步

* 流式机器人任务—— 支持函数调用的实时流式传输(仅限 Gemini Robotics ER 2)。 * 视频理解—— 从视频中追踪任务进度(仅限 ER 2)。 * 空间推理—— 指向、跟踪及边界框示例。

评论 (0)