设备在线故障诊断
进行中
多模态工业时空大模型的轨道交通智能诊断
融合钢轨图像、时序波形与文本台账的大模型 Agent 诊断框架,视觉波磨识别准确率 96%,实现复杂工况全自动精细诊断
多模态大模型 Agent诊断 高铁城轨 钢轨波磨

项目概述
地铁波磨检测缺乏标准、易漏判误判:数据横跨图像、时序波形与文本台账三种模态,传统方法难以深度融合;异常样本与高质量标注严重匮乏。
研究目标
1
波磨异常样本的快速精准标注体系
2
高效视觉波磨特征提取算法
3
多模态融合的大模型 Agent 自主推理诊断
研究方法
基于自相关函数的图像算法实现波磨特征高效视觉提取;构建大模型 Agent 诊断框架,自动结合时序波形与台账数据分段解析,识别并区分转弯、冲击等复杂行车工况。
技术路线:这件事是怎么做的
- 1
高效标注体系
研发波磨异常快速标注系统,解决"故障样本占比极少 + 高质量标签匮乏"的第一性问题。
- 2
基于自相关函数的视觉提取
对钢轨图像做边缘识别与二值化后计算自相关函数(ACF),在 30–300mm 周期带内检测峰值判定波磨及其严重程度——可解释、免大规模训练。
- 3
大模型 Agent 多模态融合诊断
构建 Agent 诊断框架:自动结合时序波形与文本台账分段解析,除检出波磨外还能识别并区分转弯、冲击等复杂行车工况,全程可解释。
方法与结果图解


研究成果
纯图像端钢轨波磨识别准确率达 96%
Agent 系统实现复杂工况自动化精细诊断,全流程可解释
方向累计发表 4 篇高水平 SCI,授权 5 项发明专利
适合谁 · 合作入口
想做多模态大模型 Agent 应用研究的同学;轨道交通与基础设施运维单位。