← 文章 / 数据与数据库
freeCodeCamp 1小时前 · 2026-11-21 03:25:34 · 0 阅读

使用 Synthea 生成合成医疗数据:动手实战教程

医疗行业每天都在产生海量数据,从患者就诊、化验结果,到诊断、用药和医学影像。

对于开发医疗应用的工程师和数据从业者来说,能否获取真实感的患者数据至关重要。无论你是在搭建医疗数据分析管道、测试电子病历(EHR)系统,还是在尝试机器学习,都需要能真实反映医疗系统运作方式的数据。

但这里存在一个难题:真实患者数据涉及隐私、受到严格监管,往往难以获取。那么,如何在不泄露真实患者信息的前提下开发和测试医疗应用呢?一个可行方案是生成合成医疗数据。

在本教程中,你将学习如何使用 Synthea——一个开源的合成患者数据生成器——来创建逼真的患者记录。我们会生成一个约 100 名患者的模拟人群,用 Python 探索生成的医疗数据集,并还原一位患者的完整临床历史。

读完本文,你将拥有自己的合成医疗数据集,可用于学习、测试和原型开发。

我还提供了一个配套的 Jupyter notebook,你可以用它来用 Python 探索生成的数据、可视化临床事件,并了解一位合成患者的就医全过程。

本文内容:

1. 什么是合成医疗数据?

合成医疗数据是 artificially 生成——即人工生成——的信息,它模仿真实医疗记录的样子,但不代表任何真实患者。

比如,一个合成的患者可能拥有:

  • 年龄、性别等人口统计学信息
  • 初级诊疗就诊记录
  • 已确诊的疾病
  • 化验结果
  • 处方用药
  • 手术和住院记录

这些记录由模拟模型和预定义规则生成,而非从真实患者病历中复制而来。

合成数据 vs. 去标识化数据

理解这两类数据的区别很重要。

去标识化数据以真实患者记录为起点,移除或转换姓名、地址等能识别个人身份的信息。

而合成数据是人工生成的,并不直接对应任何真实患者的病史。

合成数据提供了一种不依赖真实患者记录来创建开发和测试数据集的方式。但要注意,合成数据并不天然具备统计代表性,不一定临床准确,也不一定没有偏差。

合成医疗数据为什么有用?

开发者和研究人员可以在多种场景中使用合成数据:开发并测试医疗应用、搭建数据摄取与转换管道、试验医疗数据模型等。

此外,他们还可以用合成数据来测试医疗系统间的互操作性,搭建分析和机器学习工作流的原型,并深入理解特定的医疗概念及数据关系。

本教程将聚焦于生成结构化医疗数据,并解析记录之间的关联方式。

2. 什么是 Synthea?

Synthea 是由 MITRE 开发的一款开源合成患者人群模拟器。

与随机生成患者信息不同,Synthea 模拟的是患者的生命周期。它会按时间推移模拟医疗事件,涵盖疾病状况、临床就诊、用药、诊疗程序以及实验室观察结果。

举个例子,模拟中的患者可能会患上某种疾病,随后去医疗机构就诊,接受检查并服用药物。这些事件都会汇入该患者的纵向健康档案中。

Synthea 利用可配置的临床模块和人群特征来生成这些病史记录。

Synthea 能生成哪些数据?

Synthea 可生成多种类型的数据,包括:

医疗数据类别 描述
患者信息 人口统计学特征及患者标识符
就诊记录 住院、门诊咨询及急诊就诊
疾病状况 诊断结果及临床发现
观察数据 实验室检测值、生命体征及临床测量指标
药物使用 处方记录及用药历史
诊疗程序 临床操作及干预措施
过敏记录
免疫接种 疫苗接种记录
影像检查 医学影像检查的元数据
理赔数据 医疗计费及保险数据

Synthea 支持多种导出格式,包括 CSV(适用于数据分析、SQL 数据库及数据工程场景)、HL7 FHIR(一种用于系统间交换医疗信息的标准,通常表现为 JSON 资源),以及 C-CDA(一种基于 XML 格式,用于交换临床文档)。

本教程选用 CSV 格式,因为它方便用 Python 进行探索,也可以直接导入关系型数据库。

3. 前置条件

开始之前,你需要准备:

  • Java Development Kit (JDK) 17 或更新版本
  • Git
  • 终端或命令行环境
  • Python 3,用于后面的数据探索部分
  • 对 CSV 文件和 Python 有基本了解

Synthea 官方建议使用受支持的长期支持版 Java,比如 Java 17 或 25。

下面的命令以 macOS 为例演示,但在 Linux 和 Windows 上流程基本一致。

检查 Java 安装

打开终端,运行:

java -version

你应该能看到已安装的 Java 版本,例如:

openjdk version "17.x.x"

注意要装的是 JDK,而不是只有 JRE(Java 运行时环境)。

如果还没装 Java,请先下载一个兼容的 JDK 再继续。

也可以顺便确认 Git:

git --version

以及 Python:

python3 --version

4. 如何安装 Synthea

接下来从官方 GitHub 仓库下载 Synthea 源码。

第 1 步:克隆仓库

在终端中执行:

git clone https://github.com/synthetichealth/synthea.git

这会把 Synthea 项目下载到本地目录。

进入该目录:

cd synthea

第 2 步:构建项目

Synthea 用 Java 编写,通过 Gradle 构建。

运行:

./gradlew build

项目自带的 Gradle wrapper 会自动处理所需版本,无需单独安装 Gradle。

首次构建可能要等一会儿,因为 Gradle 需要下载依赖。构建成功后,就可以开始生成患者数据了。

在 Windows 上,用 gradlew.bat 代替 ./gradlew 即可。

第 3 步:查看可用命令

运行:

./run_synthea -h

这会列出所有可用的命令行选项。

几个重要的选项如下:

参数 用途
-p 目标人口规模
-s 随机种子
-r 模拟参考日期
-a 患者年龄范围
-g 性别过滤
-o 人口溢出设置

你也可以直接通过命令行参数修改配置属性。

下一步我们会用到这些选项。

5. 如何生成 100 个合成患者

现在我们来生成第一份合成医疗人群数据。

在 Synthea 目录下执行:

./run_synthea -s 12345 -p 100 \
  --exporter.csv.export=true

来看看这个命令都做了什么。

  • -s 12345 设置数据生成时使用的随机种子。固定种子有助于让实验结果可复现。
  • -p 100 指定生成 100 个患者。
  • --exporter.csv.export=true 启用 CSV 导出器。

最后一个选项很关键。Synthea 的默认配置不会启用 CSV 导出,如果不加这个设置,运行后可能只有 FHIR 文件和元数据,而没有 csv 目录。

为什么要用随机种子?

假设你在搭建一条数据工程管道,需要反复测试数据转换逻辑。

你希望每次运行时的输入数据集保持稳定,固定种子就能帮到你。想要更强的可复现性,还可以固定 Synthea 版本和模拟参考日期。

例如,加上:

-r 20261001

这会把模拟参考日期设为 2026 年 10 月 1 日。

可复现性还取决于生成器版本和配置,而且并非每个生成字段都能在不同执行环境中保持不变。

生成的文件在哪里?

Synthea 运行完成后,你会看到如下输出目录:

synthea/
│
├── output/
│   ├── csv/
│   ├── fhir/
│   └── metadata/
│
├── src/
├── gradlew
└── run_synthea

我们关注的文件在:

output/csv/

可以用以下命令列出它们:

ls output/csv

根据版本和配置不同,你会看到类似这样的文件:

patients.csv
encounters.csv
conditions.csv
observations.csv
medications.csv
procedures.csv
allergies.csv
immunizations.csv
careplans.csv
imaging_studies.csv
claims.csv
providers.csv
organizations.csv

每个 CSV 文件对应模拟医疗生态中的一个部分。

为什么 Synthea 生成的患者超过 100 人?

我在实验中注意到一个有意思的现象:我请求生成 100 人口,但 Synthea 实际生成了 115 条患者记录。

这是因为 Synthea 在生成目标人口时会使用人口溢出机制。如果某些患者在参考日期之前死亡,模拟可能会额外生成一些人,所以导出的记录数可能超过请求数量。

如果你需要精确生成 100 条患者记录,可以关闭溢出机制:

./run_synthea -s 12345 -p 100 \
  -o false \
  --exporter.csv.export=true

但这样做会改变目标人口的构建方式。具体来说,存活人口的年龄结构等统计特征可能不再那么贴合原始的人口目标。

在本教程中,我们保留默认行为,因为它能更真实地展现 Synthea 是如何建模人口的。

6. 理解生成的医疗数据集

在开始分析之前,先看看我们到底生成了多少数据。

运行:

wc -l output/csv/*.csv

这条命令会统计每个 CSV 文件的行数。

以下是我生成的数据集的一部分:

文件 记录数
patients.csv 115
encounters.csv 5,985
conditions.csv 4,070
observations.csv 75,004
medications.csv 4,454
procedures.csv 16,777
imaging_studies.csv 504

以上数据来自一次模拟运行。由于版本、随机种子、参考日期和配置不同,你的结果可能会有差异。

这里有个值得注意的点:我们生成的人口规模并不大,却产生了数以千计的临床事件。

这是因为一个患者一生中可能有多次就医经历,而每次就医又会产生多条病情、观察记录、用药或手术记录。

理解各 CSV 文件之间的关系

下面来看六个重要的文件。

1. patients.csv

包含每个合成患者的人口统计学和身份信息。

部分列如下:

Id
BIRTHDATE
DEATHDATE
GENDER
RACE
ETHNICITY
CITY
STATE

Id 列唯一标识一个合成患者。

2. encounters.csv

包含就医就诊的相关信息。

重要列包括:

Id
START
STOP
PATIENT
ENCOUNTERCLASS
DESCRIPTION

encounter(就诊事件)代表患者与医疗系统的一次交互,例如门诊、急诊和住院。

PATIENT 列将每次就诊关联回 patients.csv 中的患者。

3. conditions.csv

包含临床病情和诊断信息。

例如:

START
STOP
PATIENT
ENCOUNTER
SYSTEM
CODE
DESCRIPTION

SYSTEM 和 CODE 列用于标识术语系统和临床概念。

4. observations.csv

包含临床测量值、实验室检查结果及其他记录的观察数据。

部分列如下:

DATE
PATIENT
ENCOUNTER
CATEGORY
CODE
DESCRIPTION
VALUE
UNITS
TYPE

观察数据可能包括血压、心率、血糖水平或实验室检查结果。

一个需要注意的细节是:并非所有观察值都是数字,有些是文本。

5. medications.csv

包含与患者和就诊相关的用药记录。

6. procedures.csv

包含临床诊疗过程中执行的手术/操作记录。

这些文件是如何关联的?

下面是简化后的关系图。

简化的医疗数据关系图,展示患者记录如何通过 PATIENT 和 ENCOUNTER 标识符与就诊、病情、观察、用药和手术记录关联。

你会频繁见到两个关键标识符:

  • PATIENT:将记录与患者关联。
  • ENCOUNTER:将临床事件与一次就诊关联。

借助这些关联关系,我们可以从多张表中还原出患者的完整纵向病史。

如果你想了解每一列的具体含义,官方的 Synthea CSV Data Dictionary 是很好的参考资料。

7. 如何用 Python 探索合成医疗数据

数据集已经生成好了,接下来我们来探索它。这里使用 Pandas,因为它处理结构化的医疗数据非常方便。

第 1 步:安装 Pandas

在 Synthea 目录下创建一个 Python 虚拟环境:

python3 -m venv .venv
source .venv/bin/activate

在 Windows 上,请根据你使用的 shell 运行对应的激活脚本。

然后安装 Pandas:

python -m pip install pandas

第 2 步:加载数据集

创建一个文件:

explore_synthea.py

写入以下 Python 代码:

from pathlib import Path
import pandas as pd

csv_dir = Path("output/csv")

files = [
    "patients",
    "encounters",
    "conditions",
    "observations",
    "medications",
    "procedures",
]

tables = {
    name: pd.read_csv(
        csv_dir / f"{name}.csv",
        low_memory=False
    )
    for name in files
}

for name, df in tables.items():
    print(f"{name}: {len(df):,} records")

运行脚本:

python explore_synthea.py

你会看到每个数据集的记录数。

这里统计的是数据行数,所以和 wc -l 不同,不会包含表头。

第 3 步:查看患者记录

先来看看患者表:

patients = tables["patients"]

print(patients.shape)
print(patients.columns.tolist())

我们也可以只选取一部分列:

patient_view = patients[
    ["Id", "BIRTHDATE", "GENDER", "CITY", "STATE"]
]

print(patient_view.head())

虽然数据是合成的,但我不太愿意展示不必要的字段,比如模拟的 Social Security 号码、护照号码或完整地址。只使用特定用途所必需的字段。

第 4 步:探索就诊记录

我们来看看 encounters(就诊记录)表:

encounters = tables["encounters"]

print(
    encounters[
        ["Id", "PATIENT", "START", "ENCOUNTERCLASS"]
    ].head()
)

还可以查看就诊类别分布:

print(
    encounters["ENCOUNTERCLASS"].value_counts()
)

这有助于我们了解数据集中涵盖哪些类型的医疗就诊。

第 5 步:探索临床观测数据

下面看看 observations(观测记录)表:

observations = tables["observations"]

print(
    observations[
        ["DESCRIPTION", "VALUE", "UNITS"]
    ].head(10)
)

要查看记录频率最高的观测项目:

print(
    observations["DESCRIPTION"]
    .value_counts()
    .head(10)
)

医疗数据真正有意思的地方就在这里。

数据集中不仅包含人口统计学信息,还包含随时间记录的各项测量值和临床事件。

对医疗数据分析和 AI 应用来说,理解每项测量值代表的含义,与理解其数值本身同样重要。

8. 还原患者的临床历程

前面我们分别探索了各个表。但如果想了解某位患者的完整就医历史呢?

一位患者可能多次就诊、收到多个诊断、做过多项化验、服用多种药物。

这些信息分散在不同的 CSV 文件中。下面我们把其中一部分整合起来。

第 1 步:选定一位患者

在本例中,我们选择就诊记录最多的那位患者。

在脚本中加入以下代码:

patient_id = (
    encounters["PATIENT"]
    .value_counts()
    .idxmax()
)

print("Selected patient:", patient_id)

选这位患者是因为就诊次数多,能提供更多可供分析的事件,并不代表他的健康状况更严重。

第 2 步:查看患者的人口统计学信息

patient = patients[
    patients["Id"] == patient_id
]

print(
    patient[
        ["BIRTHDATE", "GENDER", "CITY", "STATE"]
    ]
)

第 3 步:查找该患者的就诊记录

patient_encounters = encounters[
    encounters["PATIENT"] == patient_id
].copy()

patient_encounters["START"] = pd.to_datetime(
    patient_encounters["START"],
    utc=True
)

patient_encounters = (
    patient_encounters
    .sort_values("START")
)

print(
    patient_encounters[
        ["START", "ENCOUNTERCLASS", "DESCRIPTION"]
    ].head(15)
)

现在就能按时间顺序看到这位患者的所有就诊记录了。

第 4 步:查看患者的疾病诊断

conditions = tables["conditions"]

patient_conditions = conditions[
    conditions["PATIENT"] == patient_id
]

print(
    patient_conditions[
        ["START", "DESCRIPTION"]
    ].sort_values("START").head(15)
)

第 5 步:查看患者的观测数据

patient_observations = observations[
    observations["PATIENT"] == patient_id
]

print(
    patient_observations[
        ["DATE", "DESCRIPTION", "VALUE", "UNITS"]
    ].sort_values("DATE").tail(15)
)

到这里,我们已经查看了一位合成患者病历的几个部分。

患者的就医轨迹很少只存在于一张表里,要完整理解它,需要把不同时间点的各类临床事件关联起来。

一次就诊可能对应多条观测记录和多种疾病诊断,所以如果不考虑表之间的关联关系,直接连接这两张表可能导致记录数量意外膨胀。

在这个入门示例中,分别查看每种事件类型会更容易理解。

9. 如何验证合成医疗数据集

在使用任何生成的数据集之前,最好先了解其结构,并检查一些关键假设是否成立。

检查重复的患者 ID

duplicate_ids = (
    patients["Id"].duplicated().sum()
)

print("Duplicate patient IDs:", duplicate_ids)

patients.csv 中的患者 ID 应当是唯一的。

检查就诊记录是否引用了有效患者

invalid_encounters = encounters[
    ~encounters["PATIENT"].isin(patients["Id"])
]

print(
    "Encounters referencing unknown patients:",
    len(invalid_encounters)
)

这一步验证的是最基本的关系完整性约束。

检查缺失值

print(
    observations.isna().sum()
    .sort_values(ascending=False)
    .head(10)
)

缺失值不一定就是坏数据。比如,Synthea 可以生成不与某次就诊关联的生活质量观测记录,这类记录的 ENCOUNTER 字段为空是合理的。

在决定删除还是填补之前,我们应该先弄清楚数据为什么缺失。处理医疗数据时尤其如此。

10. 合成医疗数据的局限性

合成医疗数据非常有用,但也要清楚它能表现什么、不能表现什么。

1. 合成数据不是真实的临床证据

Synthea 通过预定义的模型和规则来模拟医疗事件。

生成的数据看起来可能很真实,但不能就此认为它能完全复现真实患者群体的复杂性。

2. 模拟出的模式可能与真实世界的模式不同

真实的医疗数据往往包含由临床流程、患者行为、计费方式、互操作性故障以及文档书写差异带来的各种不一致。

合成数据集未必能涵盖所有这些复杂情况。

3. 合成数据不会自动就能用于机器学习

生成数据只是第一步。在开发机器学习模型之前,你可能还需要:

  • 验证临床概念和编码系统
  • 处理缺失和不一致的数据
  • 整合相关数据集
  • 定义预测目标
  • 构建有意义的特征
  • 评估数据的代表性和潜在偏差

在合成数据上表现良好的模型,未必能泛化到真实的临床场景。

4. 生成的人群取决于配置

Synthea 的临床模块、人群特征、参考日期和导出设置都会影响生成的记录。

为了保证实验可复现,请记录这些设置,以及 Synthea 的版本号和随机种子。

11. 结语

在本教程中,我们用 Synthea 生成了一批合成医疗人群,并浏览了生成的患者记录。

你学会了如何:

  • 安装和配置 Synthea
  • 生成合成患者人群
  • 将医疗记录导出为 CSV 文件
  • 理解患者、就诊、疾病、观测和用药数据
  • 用 Python 和 Pandas 探索数据
  • 重建合成患者的临床病史
  • 执行基础的数据集校验

像 Synthea 这样的工具,让开发者无需访问真实患者病历,也能探索医疗数据中的各种关联。

我们生成的数据集现在可以作为起点,用于构建医疗数据管道、测试数据库设计、实验互操作性标准,以及探索医疗数据分析。

更多资源

原始来源: freeCodeCamp

评论 (0)