进阶 ai.google.dev 2026-10-15 02:43:21 · 27 阅读

第13章 空间推理

Gemini 4 Argon 现已推出,欢迎试用。

Home Gemini API Docs

空间推理

Gemini Robotics ER 模型能够指向物体、在视频中跟踪物体、通过边界框检测它们,并生成运动轨迹。

完整可运行代码请参见 机器人应用指南。

指向物体

以下示例用于在图像中查找特定物体,并返回其归一化的 [y, x] 坐标:

Python from google import genai

PROMPT = """ 指向图像中不超过10个物体。返回的标签应为检测到物体的识别名称。 答案应符合JSON格式:[{"point": , "label": }, ...]。坐标为 [y, x] 格式, 归一化至0-1000。 """ client = genai.Client()

uploaded_file = client.files.upload(file="my-image.png")

image_response = client.interactions.create( model="gemini-robotics-er-2-preview", input=[ { "type": "image", "uri": uploaded_file.uri, "mime_type": uploaded_file.mime_type }, {"type": "text", "text": PROMPT} ], generation_config={"thinking_level": "high"}, )

print(image_response.output_text)

REST # 首先,确保本地拥有图像文件。 # 将图像编码为 base64 IMAGE_BASE64=$(base64 -w 0 my-image.png)

curl -X POST \ "https://generativelanguage.googleapis.com/v1beta/interactions" \ -H "x-goog-api-key: $GEMINI_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "gemini-robotics-er-2-preview", "input": { "parts": [ { "inlineData": { "mimeType": "image/png", "data": "'"${IMAGE_BASE64}"'" } }, { "text": "指向图像中不超过10个物体。返回的标签应为检测到物体的识别名称。答案应符合JSON格式:[{"point": [y, x], "label": }, ...]。坐标为 [y, x] 格式,归一化至0-1000。" } ] }, "generation_config": { "thinking_config": { "thinking_level": "high" } } }'

输出是一个JSON数组,包含若干对象,每个对象包含一个 point(归一化的 [y, x] 坐标)和一个用于识别该物体的 label。

JSON [ {"point": [376, 508], "label": "small banana"}, {"point": [287, 609], "label": "larger banana"}, {"point": [223, 303], "label": "pink starfruit"}, {"point": [435, 172], "label": "paper bag"}, {"point": [270, 786], "label": "green plastic bowl"}, {"point": [488, 775], "label": "metal measuring cup"}, {"point": [673, 580], "label": "dark blue bowl"}, {"point": [471, 353], "label": "light blue bowl"}, {"point": [492, 497], "label": "bread"}, {"point": [525, 429], "label": "lime"} ]

下图展示了这些坐标点的显示效果:

在视频中跟踪物体

Gemini Robotics ER 2 还能分析视频帧,以随时间跟踪物体。支持的媒体格式列表,请参阅 视频输入。

Python from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="my-video.mp4")

prompt = """ 指向在每一个出现的帧中的红球。 答案应符合JSON格式:[{"point": [y, x], "label":

image_response = client.interactions.create( model="gemini-robotics-er-2-preview", input=[ { "type": "video", "uri": uploaded_file.uri, "mime_type": uploaded_file.mime_type }, {"type": "text", "text": prompt} ], )

print(image_response.output_text)

物体检测与边界框

除了点,你还可以提示模型返回 2D 边界框,为检测到的物体提供更详细的空间信息。

Python from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="my-image.png")

prompt = """ 检测图像中的所有物体并返回边界框。 答案应符合JSON格式: [{"label":

image_response = client.interactions.create( model="gemini-robotics-er-2-preview", input=[ { "type": "image", "uri": uploaded_file.uri, "mime_type": uploaded_file.mime_type }, {"type": "text", "text": prompt} ], )

print(image_response.output_text)

轨迹

Gemini Robotics ER 2 可以生成定义轨迹的点序列,对于引导机器人移动非常有用。

本示例请求了一条轨迹,将一支红笔移动到收纳器中,并包含中间航点估计。代码已简化,仅展示 prompt。

Python prompt = """ 生成机械臂拿起红笔并将其放入收纳器的轨迹。以JSON列表返回航点: [{"step": , "point": [y, x], "action": }, ...] 其中坐标归一化至0-1000。 """

为笔记本电脑腾出空间

本示例展示了 Gemini Robotics ER 如何对空间进行推理。prompt 要求模型识别出哪个物体需要移动,以为其他物品腾出空间。

Python from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="path/to/image-with-objects.jpg")

prompt = """ 指向我需要移除以给笔记本电脑腾出空间的物体 答案应符合JSON格式:[{"point": , "label": }, ...]。坐标为 [y, x] 格式,归一化至0-1000。 """

image_response = client.interactions.create( model="gemini-robotics-er-2-preview", input=[ { "type": "image", "uri": uploaded_file.uri, "mime_type": uploaded_file.mime_type }, {"type": "text", "text": prompt} ], )

print(image_response.output_text)

响应中包含用户问题的解答——即那个需要移动以为笔记本电脑腾出空间的物体的 2D 坐标。 [ {"point": [672, 301], "label": "The object that I need to remove to make room for my laptop"} ]

打包午餐

模型还可以提供多步骤任务的操作指引,并指向每一步的相关物体。本示例展示了模型如何规划一系列步骤来打包午餐袋。

Python from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="path/to/image-of-lunch.jpg")

prompt = """ 解释如何打包午餐盒和午餐袋。指向你提到的每个物体。每个点应采用如下格式: [{"point": [y, x], "label": }],其中坐标归一化在0-1000之间。 """

image_response = client.interactions.create( model="gemini-robotics-er-2-preview", input=[ { "type": "image", "uri": uploaded_file.uri, "mime_type": uploaded_file.mime_type }, {"type": "text", "text": prompt} ], )

print(image_response.output_text)

该 prompt 的响应是一组逐步指引,说明如何根据图像输入打包午餐袋。

输入图像

模型输出 根据图像,以下是打包午餐盒和午餐袋的计划:

1. 将水果装入午餐盒。 将 [苹果](apple)、[香蕉](banana)、[红葡萄](red grapes) 和 [绿葡萄](green grapes) 放入 [蓝色午餐盒](blue lunch box)。 2. 在午餐盒中加入勺子。 将 [蓝色勺子](blue spoon) 也放入午餐盒内。 3. 盖上午餐盒。 将 [蓝色午餐盒](blue lunch box) 的盖子盖好。 4. 将午餐盒放入午餐袋。 将盖好的 [蓝色午餐盒](blue lunch box) 放入 [棕色午餐袋](brown lunch bag)。 5. 将剩余物品装入午餐袋。 将 [蓝色零食棒](blue snack bar) 和 [棕色零食棒](brown snack bar) 放入 [棕色午餐袋](brown lunch bag)。

以下是物体及其位置列表: * [{"point": [899, 440], "label": "apple"}] * [{"point": [814, 363], "label": "banana"}] * [{"point": [727, 470], "label": "red grapes"}] * [{"point": [675, 608], "label": "green grapes"}] * [{"point": [706, 529], "label": "blue lunch box"}] * [{"point": [864, 517], "label": "blue spoon"}] * [{"point": [499, 401], "label": "blue snack bar"}] * [{"point": [614, 705], "label": "brown snack bar"}] * [{"point": [448, 501], "label": "brown lunch bag"}]

后续步骤

代理能力——代码执行、仪表读数、图像标注。 任务编排——带自定义机器人 API 的长周期任务。 带流式的机器人技术——实时双向流(仅限 Gemini Robotics ER 2)。 视频理解——时刻检索与进度分类(仅限 Gemini Robotics ER 2)。

评论 (0)