设备在线故障诊断
进行中

多模态工业时空大模型的轨道交通智能诊断

融合钢轨图像、时序波形与文本台账的大模型 Agent 诊断框架,视觉波磨识别准确率 96%,实现复杂工况全自动精细诊断

多模态大模型 Agent诊断 高铁城轨 钢轨波磨
多模态工业时空大模型的轨道交通智能诊断

项目概述

地铁波磨检测缺乏标准、易漏判误判:数据横跨图像、时序波形与文本台账三种模态,传统方法难以深度融合;异常样本与高质量标注严重匮乏。

研究目标

1

波磨异常样本的快速精准标注体系

2

高效视觉波磨特征提取算法

3

多模态融合的大模型 Agent 自主推理诊断

研究方法

基于自相关函数的图像算法实现波磨特征高效视觉提取;构建大模型 Agent 诊断框架,自动结合时序波形与台账数据分段解析,识别并区分转弯、冲击等复杂行车工况。

技术路线:这件事是怎么做的

  1. 1

    高效标注体系

    研发波磨异常快速标注系统,解决"故障样本占比极少 + 高质量标签匮乏"的第一性问题。

  2. 2

    基于自相关函数的视觉提取

    对钢轨图像做边缘识别与二值化后计算自相关函数(ACF),在 30–300mm 周期带内检测峰值判定波磨及其严重程度——可解释、免大规模训练。

  3. 3

    大模型 Agent 多模态融合诊断

    构建 Agent 诊断框架:自动结合时序波形与文本台账分段解析,除检出波磨外还能识别并区分转弯、冲击等复杂行车工况,全程可解释。

方法与结果图解

多模态大模型 Agent 诊断框架:时序 + 图像 + 台账协同推理
多模态大模型 Agent 诊断框架:时序 + 图像 + 台账协同推理
钢轨波磨视觉检测实拍(识别准确率 96%)
钢轨波磨视觉检测实拍(识别准确率 96%)

研究成果

纯图像端钢轨波磨识别准确率达 96%

Agent 系统实现复杂工况自动化精细诊断,全流程可解释

方向累计发表 4 篇高水平 SCI,授权 5 项发明专利

适合谁 · 合作入口

想做多模态大模型 Agent 应用研究的同学;轨道交通与基础设施运维单位。

邮件联系冯老师 →

设备在线故障诊断

探索更多研究方向