MedSegAgent：一种通用且可扩展的多智能体系统用于指导性医学图像分割

医学图像分割对于临床诊断和治疗至关重要；然而，现有解决方案面临三大主要限制：（1）缺乏能够处理多样化模态和解剖目标的通用框架，（2）扩展性有限，难以适应不断发展的临床需求和新数据集，（3）缺乏指导性界面，使模型难以被非专业用户使用。为应对这些挑战，本文提出了MedSegAgent，一种用于指导性医学图像分割的通用且可扩展的多智能体系统。具体而言，MedSegAgent包含五个智能体：一个解析自然语言请求的查询解析智能体，三个粗到细的过滤智能体（模态过滤、解剖过滤和标签选择）用于识别相关数据集和标签值，以及一个负责模型推理和结果整合的执行智能体。基于此框架，MedSegAgent利用23个多样化的数据集和预训练模型，执行涵盖多种模态和解剖目标的343种分割任务。实验结果表明，MedSegAgent简化了模型选择，同时保持高性能，在94.27%的查询中准确识别匹配的数据集和标签，在99.03%的查询中定位至少一个合适匹配。MedSegAgent为多样化的医学图像分割任务提供了通用且可扩展的解决方案，弥合了用户友好查询与模型选择和部署复杂性之间的鸿沟。我们的代码公开发布于https://github.com/uni-medical/MedSegAgent。