谷歌医疗版ChatGPT已在诊所实测 多个指标和真人医生相当
【太平洋科技资讯】据《华尔街日报》爆料,早在今年4月,Med-PaLM 2就开始在多家诊所内测试,其工作范围覆盖回答医疗问题、总结文件或处理医疗大数据等。
谷歌曾经表示,在医疗领域,Med-PaLM 2的效果优于Bard、Bing、ChatGPT等通用大模型。
那Med-PaLM 2能力到底如何呢?
Med-PaLM 2是基于谷歌当下最先进的大语言模型PaLM 2以及大量医疗数据训练的,是第一个在MedQA测试集中达到“专家”水平的AI大模型。
它的前身Med-PaLM是首个在美国医疗执照考试(USMLE)中取得“及格”以上分数的AI模型,在MedQA数据集上的得分为67.2。
而Med-PaLM 2将这一分数提升了19%,达到86.5,并在MedMACQA、PubMedQA和MMLU等多个临床方面的数据集上性能接近或超过SOTA。
在1000多个实际医疗场景问答中,Med-PaLM 2在9项基准测试中,有8项表现良好,相较于人类医生的回答得到更多认可。
与普通医生的回答相比,Med-PaLM 2有72.9%的回答被认为和医生回答相对一致。
但这些数据距离Med-PaLM 2能被完全投入到实际医疗场景中应用还有一些挑战,尤其是回答问题的准确性和稳定性方面。在上面的测试中,Med PaLM 2唯一一项没有被认可的基准测试,就是“信息准确性/相关性”。
尽管在实际应用落地中存在诸多困难,比如数据隐私方面的担忧、责任方的认定等,但这项技术代表了科技的进步,我们对AI在医疗领域的更多贡献和益处抱有期待。未来,AI将在医疗领域发挥更大的作用,造福人类。