第13章 空间推理
Gemini 4 Argon 现已推出,欢迎试用。
Home Gemini API Docs
空间推理
Gemini Robotics ER 模型能够指向物体、在视频中跟踪物体、通过边界框检测它们,并生成运动轨迹。
完整可运行代码请参见 机器人应用指南。
指向物体
以下示例用于在图像中查找特定物体,并返回其归一化的 [y, x] 坐标:
Python from google import genai
PROMPT = """
指向图像中不超过10个物体。返回的标签应为检测到物体的识别名称。
答案应符合JSON格式:[{"point":
uploaded_file = client.files.upload(file="my-image.png")
image_response = client.interactions.create( model="gemini-robotics-er-2-preview", input=[ { "type": "image", "uri": uploaded_file.uri, "mime_type": uploaded_file.mime_type }, {"type": "text", "text": PROMPT} ], generation_config={"thinking_level": "high"}, )
print(image_response.output_text)
REST # 首先,确保本地拥有图像文件。 # 将图像编码为 base64 IMAGE_BASE64=$(base64 -w 0 my-image.png)
curl -X POST \
"https://generativelanguage.googleapis.com/v1beta/interactions" \
-H "x-goog-api-key: $GEMINI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "gemini-robotics-er-2-preview",
"input": {
"parts": [
{
"inlineData": {
"mimeType": "image/png",
"data": "'"${IMAGE_BASE64}"'"
}
},
{
"text": "指向图像中不超过10个物体。返回的标签应为检测到物体的识别名称。答案应符合JSON格式:[{"point": [y, x], "label":
输出是一个JSON数组,包含若干对象,每个对象包含一个 point(归一化的 [y, x] 坐标)和一个用于识别该物体的 label。
JSON [ {"point": [376, 508], "label": "small banana"}, {"point": [287, 609], "label": "larger banana"}, {"point": [223, 303], "label": "pink starfruit"}, {"point": [435, 172], "label": "paper bag"}, {"point": [270, 786], "label": "green plastic bowl"}, {"point": [488, 775], "label": "metal measuring cup"}, {"point": [673, 580], "label": "dark blue bowl"}, {"point": [471, 353], "label": "light blue bowl"}, {"point": [492, 497], "label": "bread"}, {"point": [525, 429], "label": "lime"} ]
下图展示了这些坐标点的显示效果:
在视频中跟踪物体
Gemini Robotics ER 2 还能分析视频帧,以随时间跟踪物体。支持的媒体格式列表,请参阅 视频输入。
Python from google import genai
client = genai.Client()
uploaded_file = client.files.upload(file="my-video.mp4")
prompt = """ 指向在每一个出现的帧中的红球。 答案应符合JSON格式:[{"point": [y, x], "label":
image_response = client.interactions.create( model="gemini-robotics-er-2-preview", input=[ { "type": "video", "uri": uploaded_file.uri, "mime_type": uploaded_file.mime_type }, {"type": "text", "text": prompt} ], )
print(image_response.output_text)
物体检测与边界框
除了点,你还可以提示模型返回 2D 边界框,为检测到的物体提供更详细的空间信息。
Python from google import genai
client = genai.Client()
uploaded_file = client.files.upload(file="my-image.png")
prompt = """ 检测图像中的所有物体并返回边界框。 答案应符合JSON格式: [{"label":
image_response = client.interactions.create( model="gemini-robotics-er-2-preview", input=[ { "type": "image", "uri": uploaded_file.uri, "mime_type": uploaded_file.mime_type }, {"type": "text", "text": prompt} ], )
print(image_response.output_text)
轨迹
Gemini Robotics ER 2 可以生成定义轨迹的点序列,对于引导机器人移动非常有用。
本示例请求了一条轨迹,将一支红笔移动到收纳器中,并包含中间航点估计。代码已简化,仅展示 prompt。
Python
prompt = """
生成机械臂拿起红笔并将其放入收纳器的轨迹。以JSON列表返回航点:
[{"step":
为笔记本电脑腾出空间
本示例展示了 Gemini Robotics ER 如何对空间进行推理。prompt 要求模型识别出哪个物体需要移动,以为其他物品腾出空间。
Python from google import genai
client = genai.Client()
uploaded_file = client.files.upload(file="path/to/image-with-objects.jpg")
prompt = """
指向我需要移除以给笔记本电脑腾出空间的物体
答案应符合JSON格式:[{"point":
image_response = client.interactions.create( model="gemini-robotics-er-2-preview", input=[ { "type": "image", "uri": uploaded_file.uri, "mime_type": uploaded_file.mime_type }, {"type": "text", "text": prompt} ], )
print(image_response.output_text)
响应中包含用户问题的解答——即那个需要移动以为笔记本电脑腾出空间的物体的 2D 坐标。 [ {"point": [672, 301], "label": "The object that I need to remove to make room for my laptop"} ]
打包午餐
模型还可以提供多步骤任务的操作指引,并指向每一步的相关物体。本示例展示了模型如何规划一系列步骤来打包午餐袋。
Python from google import genai
client = genai.Client()
uploaded_file = client.files.upload(file="path/to/image-of-lunch.jpg")
prompt = """ 解释如何打包午餐盒和午餐袋。指向你提到的每个物体。每个点应采用如下格式: [{"point": [y, x], "label": }],其中坐标归一化在0-1000之间。 """
image_response = client.interactions.create( model="gemini-robotics-er-2-preview", input=[ { "type": "image", "uri": uploaded_file.uri, "mime_type": uploaded_file.mime_type }, {"type": "text", "text": prompt} ], )
print(image_response.output_text)
该 prompt 的响应是一组逐步指引,说明如何根据图像输入打包午餐袋。
输入图像
模型输出 根据图像,以下是打包午餐盒和午餐袋的计划:
1. 将水果装入午餐盒。 将 [苹果](apple)、[香蕉](banana)、[红葡萄](red grapes) 和 [绿葡萄](green grapes) 放入 [蓝色午餐盒](blue lunch box)。 2. 在午餐盒中加入勺子。 将 [蓝色勺子](blue spoon) 也放入午餐盒内。 3. 盖上午餐盒。 将 [蓝色午餐盒](blue lunch box) 的盖子盖好。 4. 将午餐盒放入午餐袋。 将盖好的 [蓝色午餐盒](blue lunch box) 放入 [棕色午餐袋](brown lunch bag)。 5. 将剩余物品装入午餐袋。 将 [蓝色零食棒](blue snack bar) 和 [棕色零食棒](brown snack bar) 放入 [棕色午餐袋](brown lunch bag)。
以下是物体及其位置列表: * [{"point": [899, 440], "label": "apple"}] * [{"point": [814, 363], "label": "banana"}] * [{"point": [727, 470], "label": "red grapes"}] * [{"point": [675, 608], "label": "green grapes"}] * [{"point": [706, 529], "label": "blue lunch box"}] * [{"point": [864, 517], "label": "blue spoon"}] * [{"point": [499, 401], "label": "blue snack bar"}] * [{"point": [614, 705], "label": "brown snack bar"}] * [{"point": [448, 501], "label": "brown lunch bag"}]
后续步骤
代理能力——代码执行、仪表读数、图像标注。 任务编排——带自定义机器人 API 的长周期任务。 带流式的机器人技术——实时双向流(仅限 Gemini Robotics ER 2)。 视频理解——时刻检索与进度分类(仅限 Gemini Robotics ER 2)。