第9章 医疗场景中的环境智能:完整技术栈解析
AI 工程与研究 医疗场景中的环境智能:技术栈的实际构成 By Deepgram, 2026年6月29日 Deepgram 在 X 上分享 在 LinkedIn 上分享 以 Markdown 格式查看 在 ChatGPT 中打开 在 Claude 中打开 在 Perplexity 中打开 了解医疗生产级环境智能背后的四层技术栈:ASR、说话人分离、临床 NLP 及 FHIR 写回。构建正确的架构。
医疗生产级环境智能需要四个层级:ASR、说话人分离、临床 NLP 与摘要生成、以及 FHIR 写回。
根据关于医生文书负担的研究,美国医生每花一小时进行直接患者诊疗,就要在 EHR 和桌面工作上花费近两小时。到 2025 年中期,使用 Epic 系统的美国医院中,环境 AI 的采用率已达到 62.6%。截至 2026 年,这一比例还在持续增长。在使用 Epic 的医院中,该领域已超越早期试点阶段。
大多数解释都跳过了技术栈本身。你需要了解每一层的关键决策,以及合规性和采用风险集中在哪里。
核心要点
以下是决定生产级环境文档系统架构和集成决策的因素:
每一层都会将错误传递给下一层。如果 ASR 出错,所有下游步骤都会继承这些缺陷。 ASR 对笔记质量的影响最大:捕获阶段的词错误率(WER)设定了上限,下游无法突破这个限制。 HIPAA 是每一层的义务。每个处理 PHI 的处理器都需要自己的 BAA 要求。 如果笔记未写入 EHR,会产生工作流摩擦,因此 FHIR 写回通常决定了系统的采用率。 Deepgram 通过 Keyterm Prompting 和自托管部署适配 ASR 层。
每个环境智能系统所需的四层
大多数环境文档的故障源于技术栈中的缺口,而非某个单一模型的缺陷。这些层级是顺序且相互依赖的:错误不会被隔离,而是会累积。
第 1 层:自动语音识别 原始房间音频通过 Speech-to-Text 转化为文本。此层的准确性决定了后续所有层必须处理的内容。如果在捕获时药物名称出错,这种错误会贯穿摘要生成,甚至进入病历图表。
第 2 层:说话人分离 分离将医生和患者的语音区分开。摘要模型需要这种区分来生成有用的草稿。
患者自述症状和医生评估含义不同。如果模型丢失了这种区分,草稿可能会混淆主诉、病史和计划。由于不同说话人类型的 WER 也可能不同,分离也会影响测量结果。
第 3 层:临床 NLP 和 LLM 摘要 在此层,经过分离的文本转化为结构化笔记。模型提取主诉、现病史、评估和计划。最终成果是从原始对话中生成医生可识别的草稿。
第 4 层:EHR 写回 写回通过 FHIR 资源将完成的笔记放入患者病历。没有这一层,你只有一个能运行的演示,但它仍游离于临床工作流之外。可以将其类比为部署代码却没有部署脚本。第 1 层和第 4 层通常消耗最多的工程时间。
选择你的 ASR 层
医疗 ASR 通常是环境文档项目投入工程时间最多、调试最痛苦的地方。如果转录出错,临床医生将在每次接诊中承担纠错工作。
通用 ASR vs. 医疗调优 ASR
通用 ASR 在临床词汇上以可预测的方式失败。具有非英语音系特征的通用药物名称,如 clopidogrel 或 atorvastatin,会被转录为发音相近的错误词,迅速破坏药物列表。
专业缩写如 LVEF、STEMI 和 CABG 也有同样的问题:要么正确,要么严重错误。但与药物名称不同,这个问题可以在运行时修复。Deepgram 的 Keyterm Prompting 允许你在每次请求中将引擎偏向多达 100 个领域术语,无需重新训练。
实际上,你可以在 API 调用中直接传入像 clopidogrel 这样的术语,这样亚专科词汇就不会在接诊过程中让模型出错。虽然术语列表很小,但临床后果巨大。
承诺供应商前测量什么
在参考供应商基准之前,先用你自己的临床音频测量 WER。已发表的学术数据因病症不同差异巨大。在真实初级诊疗对话中,四个 ASR 模型的初级诊疗 WER 在 8.8% 到 10.5% 之间。在 PriMock57 模拟咨询数据集上,PriMock57 的 WER 落在 30.9% 到 48.9% 之间。
差异源于音频类型、口音分布、麦克风质量以及是否先执行说话人分离。录制你自己的接诊过程,转录它们,并据此打分,然后再签约。
使用反映部署环境的测试集。包括安静房间、嘈杂房间、不同麦克风、不同口音和专业词汇。然后按类别分离错误:药物、缩写、数字、说话人分配和否定句。
自托管 vs. 云 ASR 用于数据驻留
当部署需要音频保持在受控边界内时,可能需要自托管 ASR。Deepgram 支持在客户申请的云实例或客户数据中心进行自托管部署。
这使 PHI 保留在你的边界内,同时仍可运行最新模型。它还让医疗买家在安全审查中获得更清晰的答案——这正是愉快的演示往往变成工单队列的时刻。
临床 NLP 和 LLM 摘要
这是错误的模型选择或弱提示直接导致图表错误的层级。做对了,临床医生只需极少编辑即可签署笔记。做错了,他们会弃用该工具。
LLM 层实际做什么
读取分离后的文本,模型提取结构化笔记元素:主诉、现病史(HPI)、评估和计划。MTS-Dialog 等基准数据集用于训练和评估这种转换。
输出格式通常是 SOAP 笔记或病史与体格检查,具体取决于接诊类型。笔记必须始终与文本绑定。
专业特定的提示工程
初级诊疗、行为健康会话和急诊接诊需要不同的输出模式。将文本路由到专业特定的提示,可生成符合该医生记录习惯的草稿。
通用提示生成通用笔记。通用笔记意味着更多编辑,更多编辑意味着更快弃用。专业路由是低投入的采用工作,很快就能回报。
幻觉控制与验证
限制模型基于文本操作,避免捏造临床实体。安全风险集中在此层。与渲染代码中的 bug 不同,捏造的临床实体会有患者后果。
仅靠 ROUGE 不足以保证事实一致性,因此你需要实体级忠实度检查和 NLI 蕴涵检查。特别是,词汇评分可能会将诊断推理误分类为幻觉。
从那里开始,你的验证规则应将真正的捏造与合理的临床推理区分开。捏造造成安全风险。另一方面,如果推理在临床基础上成立且对临床医生可见,它是可以接受的。
FHIR 写回与 EHR 集成
未落入 EHR 的笔记游离于临床医生已使用的工作流之外。FHIR 写回是将功能性管道转化为临床医生可采用的东西的关键。
以 FHIR R4 为基准标准
对叙述性笔记使用 DocumentReference。其 docStatus 字段支持 preliminary、final、amended 和 entered-in-error,这可以清晰地映射到从草稿到签署的生命周期。
relatesTo 字段允许最终笔记取代初步 AI 生成版本。对于离散结构化数据如生命体征和发现值,请改用 Observation。
要在活跃接诊中启动,SMART on FHIR 提供 launch/patient 和 launch/encounter 范围。这些范围在启动时为你的应用提供正确的上下文。
Epic vs. 非 Epic EHR 现实
Epic 将 Art 描述为原生环境框架。其 AI Charting 功能围绕起草接诊笔记和根据对话建议医嘱进行定位。
非 Epic 平台各自需要不同的集成工作。根据实现情况,Oracle Health 工作可能从 Cerner Code Console 开始以获取应用访问权限。它也可能使用围绕 DocumentReference 写回的 Millennium 平台 API。
MEDITECH Expanse 集成可能涉及其 Greenfield 计划,以及在有记录的环境集成中的 Observation API。
athenahealth 有其自身特点:使用 Clinical Document API 的实现可能在文档创建时需要四个不可变元数据字段。遗漏任何一个,笔记都可能进入 Unassigned 队列。总而言之,针对多个 EHR 意味着每个平台都需要非平凡的工程工作。
审计追踪要求
捕获链中的所有事件:捕获事件、ASR 操作、LLM 推理、每位临床医生的编辑以及签署事件。此追踪支持 HIPAA 审计就绪性,并允许重构笔记是如何产生的。
记录模型版本与生成输出。之后复现结果取决于知道运行的是哪个模型。未来的你会感谢过去的你没有把这件事变成侦探故事。
整个栈的 HIPAA 义务
环境文档的 HIPAA 合规性要求跨越每个处理器的控制链。音频从捕获起即为 PHI,每个处理器都需被涵盖。
音频从捕获瞬间起即为 PHI
HHS 指南确认 PHI 可以音频形式存在。一旦受保实体或商业关联方持有患者录音,它立即符合标准。
从捕获设备到云端的加密是基本要求。这是必要的,但它并不免除映射每个处理数据系统的需要。
BAA 链要求
每个处理音频或文本 PHI 的供应商都需要自己的 BAA:你的 ASR 提供商、LLM 提供商、云主机和下游分包商。
仅存储加密 ePHI 且没有解密密钥的云提供商仍是商业关联方。每个分包商必须同意相同的限制。受保实体与主要供应商的 BAA 不会自动扩展到下游。
在语音层,Deepgram 维护符合 HIPAA 的部署。BAA 条款通过销售和企业协议处理。
音频保留与销毁策略
在上线前决定,而不是在合规审查质问为什么你仍有两年前的音频后决定。决定保留原始音频、文本和最终笔记多久。然后使这些决定成为合规审查的一部分。
跨州部署应在跨司法管辖区推广前进行录音同意审查。你不希望在同意规则上遇到意外驱动开发。
构建可投入生产的环境智能
环境 AI 试点可能在生产前停滞。本文中的技术栈决策是故障点集中的地方,ASR 通常是第一个咬人的环节。
从哪里开始
在确定架构前,先从 ASR 层开始。笔记质量、临床医生采用率和下游验证努力都可追溯到转录准确性。
如果你基于薄弱的语音层构建,栈的其余部分将继承该问题。LLM 可能仍产生精致的散文,但精致的错误散文仍然是错误的。
优先评估你的 ASR 层
将你自己的临床音频通过候选模型运行,并自行评分 WER。Keyterm Prompting 允许你在同一过程中测试专业词汇,无需重新训练。
像生产排练一样构建测试。使用真实接诊类型、真实麦克风、代表性口音以及你的专业领域重要的术语。然后比较临床医生签署前需要的编辑次数。
使用 200 美元免费额度在真正重要的音频上免费试用:你自己的音频。
常见问题
环境智能与传统 AI 医疗 Scribe 有什么区别? 传统 Scribe 从刻意口述开始。环境智能从自然的医患对话开始,并将该对话转化为结构化草稿。 这种转变改变了工程问题。你需要说话人分离、基于文本的摘要,以及在笔记进入图表前的临床医生审查控制。
哪个层对环境智能栈的笔记质量影响最大? 应首先关注 ASR,因为转录错误限制了每个下游层。精致的摘要无法恢复捕获错误的药物、数字或否定句。 在承诺前评估你自己的音频。单独评估高风险错误类别,然后比较临床医生签署前需要的编辑次数。
HIPAA BAA 要求如何应用于多供应商环境文档管道? 将 BAA 映射视为数据映射。每个接触音频、文本、生成笔记、日志或存储输出的系统都需要审查。 这通常包括 ASR 提供商、LLM 提供商、云主机和下游分包商。你的保留策略也很重要,因为存储时长会改变合规对话。
环境智能系统可以与其他 EHR 集成吗? 可以,但每个 EHR 都需要自己的集成计划。基线笔记模式可能使用 DocumentReference,而启动上下文、元数据和队列行为各不相同。 对于失败的写回,使状态对临床医生可见。跟踪文档状态,记录事件,避免在存储成功前暗示笔记已在工作流中。
什么是 Keyterm Prompting,它如何帮助处理临床术语? Keyterm Prompting 在请求时使 ASR 引擎偏向指定术语,无需重新训练模型即可保持特定接诊词汇的准确性。 从药物、手术、专业缩写和临床医生特定术语构建列表。与转录请求一起传入,然后将纠正率与你的基线进行比较。
相关文章 查看全部 Francisco Sousa Machado GTM 领导 - 西班牙 使用 Nova-3 为你的西班牙语联络中心做好应对 Ley 10/2025 的准备 公告 Abe Pursell 高级副总裁,全球业务开发与伙伴关系 Deepgram Marketplace:语音 AI 的开放生态系统 公告 Ed Anuff CPO 保持主线的语音代理 公告 Deepgram Deepgram 正在收购 Daily,Pipecat 的制造商,以提供首个完整的、生产就绪的、开放的对谈语音 AI 栈 公告