《REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models》
- 多模态EHR嵌入式提取：利用GRU模型做为时间序列的嵌入模型，并将LLM做为文本记录的模型，它们同时支持上下文推理。可读数据被传输到嵌入数据中。
- GRU门控循环单元，循环神经网络（RNN）的一种变体。目的是为了解决传统RNN在训练过程中出现的梯度消失问题，同时提高模型训练效率和性能
- RAG驱动的增强管道检索相关知识的原始输入。
- 作者设计一种基于规则的算法，从时间序列Xtime 中寻找异常特征，并优化LLM提示，从临床记录Xtext中提取疾病实体。
- 后基于语义的检索将提取的实体与KGs的相对节点匹配，超过阈值ϵ或η。然后，得到外部信息XRAG，并分别将它们编码到hRAG中。
- 多模态融合网络从输入模态Xi中嵌入hi，并以自适应的方式进行融合，得到增强的表示z。
- 通过GRU模型将数据输入：hTS = GRU(XTS)
- 引入LLM编码器来获取文本中的数据：hText = LLM(XT ext)
- 因为在EHR中，患者每次就诊都有个单独独特的时间戳，标记为XTime，为了能应对EHR中时间序列数据得到不规则性和异步性，必须有一个嵌入策略，将离散的时间标记吴鹏地转换为有意义的连续向量空间。
- 基于传统的多层感知器（MLP），提出一种利用sin/cos变换增强的方法，来对时间戳进行编码：hTime = MLP(XTime)
- 上述方法好处是不仅补货了访问的顺序，还保留了时间序列数据中固有的周期性和连续性
- 时间序列的RAG模型：考虑到连续数据具有明显的分布特征，通过计算每个特征值的z分数来找到异常值。对于每个特征XT Si，我们可以通过其参考范围得到它们的平均值和标准差，并计算每个特征的z分数。
设定阈值，超过阈值被视为异常特征，意味着身体不健康。 - 临床记录的RAG模型：
- 实体提取：LLM支持更长的上下文，但经常引入幻觉，为了减少LLM幻觉，使用一次性演示作为演示和清晰的提示指导，指导LLM只关注在原始笔记中出现的疾病实体。调用LLM模型时，有时LLM可能会导致失败而不返回任何实体，因此进行多轮操作扩大当前提取的实体集。 实体细化：为了缓解LLM幻觉问题而设计。首先，丢弃不出现在原始文本中的实体；其次，使用LLM筛选不属于疾病类型的实体；最后，删除语义中重复的实体。重复步骤1和步骤2，以确保提取实体的质量和数量。 提取的实体与外部KG相匹配：采用基于语义的密集向量检索。首先，我们用LLM获得了所有KG节点节点的嵌入。然后使用当前实体e作为查询，计算Ee与KG hn中所有节点嵌入之间的余弦相似性。在其中设置一个阈值η，以判断两个嵌入是否足够相似。 编码KG知识：首先，以（实体名称、实体定义、实体描述）等格式将每个节点的细节连接在一起。用指定的分隔符将多个节点的细节连接到一个序列中。然后得到参考知识作为补充信息，用LLM表示，同时考虑了长上下文。
- 首先将从实体中提取的隐藏表示与从文本中提取的隐藏表示连接起来，然后利用MLP网络将它们映射到一个统一的维度:
- 为了更好地整合来自不同模式的信息，作者提出了一种基于注意的融合网络，主要由自我注意层和交叉注意层组成。具体来说，首先将自我注意应用到每个模式中。然后将一个模态的输出作为查询，另一个模态的输出作为计算交叉注意。MHSA表示multi-head self-attention,，MHCA表示multi-head cross-attention，hT ime表示时间嵌入：
- 因此，两个交叉注意模块的输出都携带了来自这两种模式的信息。进一步总结，并利用注意清洗层来获取融合的信息:
- 最后，融合表示z∗可以预测下游任务。通过z∗通过一个单层MLP网络，得到最终的预测结果yˆ：
- 选择BCE损失作为二元死亡率结果和再入院预测任务的损失函数：
