第5章 Human Agent
完整文档索引请见 llms.txt。本页面也提供 Markdown 版本。
Human Agent
Ojin 的明星产品,为你的 AI agent 添上一张脸。一个逼真的视觉形象(avatar),能说话、倾听、表达情绪,动画实时同步,一行代码即可嵌入。
概述
Human Agent 是 Ojin 提供的开箱即用的完整对话式 agent:它将语音到语音(STS)与逼真的动画面孔结合,底层使用 Ojin 的人脸模型 Human Presence 或 Human Portrait,打包成一个产品。你无需自己拼接 STT、LLM、TTS 和 avatar 服务,只需在 Ojin 控制台创建 agent,在网站上嵌入一个 widget,用户就能与全动画形象进行实时对话。这是上线对话 agent 最快的方式,完全不用自己搭建 pipeline。
核心特性
逼真的视觉形象:agent 拥有嘴唇同步、表情自然的面孔 端到端对话式 AI:语音进、语音出,无需组装 pipeline 实时:通过 WebRTC 传输音频、视频和信令 无需组装 pipeline:Ojin 管理完整的 speech-to-speech 技术栈(也可自带 provider) 即插即用 widget:一个 HTML 标签即可嵌入任意网页 控制台配置:无需写代码即可创建、配置和监控 agent
Agent 模式
Ojin Agent(托管模式)
你只需配置性格与外观、system prompt、面孔、声音和行为,其余一切——对话 pipeline、avatar 渲染、基础设施——都由 Ojin 处理。你无需接触或管理底层 provider。
第三方 Agent
你使用自己的 speech-to-speech provider:ElevenLabs Agents 或 OpenAI Realtime(Hume 可根据申请向已开通的组织提供)。Ojin 负责视觉形象层并通过 Ojin 基础设施运行 agent。你在控制台填入该 provider 的凭证即可(ElevenLabs Agents 需要 API key 和 agent ID;OpenAI Realtime 需要 API key,其他设置为可选),其余交给 Ojin。
工作原理
在 Ojin 控制台创建 agent:选择模式、配置并发布 从 agent 设置页获取 agent ID 在网站嵌入 widget,或在后端调用 Session API 用户通过 WebRTC 交互:音频、视频和实时形象共用一条连接
Agent 上线后,一次会话的流程如下:
以上所有步骤 widget 都会自动完成。只有在构建自定义客户端时才需要直接调用 Session API。自定义客户端必须根据 provider 分支处理(daily 或 livekit),因为两者的加入参数不同:
Daily 使用 room_url 和 token 加入,房间号包含在 URL 中。 LiveKit 将 room_url 作为服务器 URL,另需 room_name 和 token,URL 中不含房间信息。
无论哪种方式,请保留 room_name:cancel 端点需要用到它。
使用场景
客户支持:让客户与逼真的 agent 对话,而非冷冰冰的聊天机器人 销售:用对话式形象问候并筛选潜在客户 教育:打造语音、表情自然的互动导师 医疗:创建有同理心的虚拟健康助手 前台接待:在网站或自助终端部署数字前台
定价
Agent 会话按用量计费。套餐和单次会话费用详情请访问 ojin.ai/pricing。
快速开始
创建 API key:为 Ojin 平台配置身份认证 创建并配置 agent:设置外观、声音和行为 Widget 集成:将 agent 嵌入网页 Session API 文档:用于 widget 之外的自定义集成
上一篇:数据删除 下一篇:创建并配置
最后更新于 26 天前。这篇文章有帮助吗?