设备在线故障诊断
进行中
多模态工业时空大模型的轨道交通智能诊断
构建融合钢轨图像、时序波形与文本台账的大模型 Agent 诊断框架，实现钢轨波磨与复杂行车工况的自动化精细诊断，钢轨波磨视觉识别准确率达 96%。
多模态大模型 Agent诊断 高铁城轨 钢轨波磨
项目概述
针对地铁波磨检测标准缺失、易漏判误判，以及异常样本与高质量标注严重匮乏等问题，本研究融合钢轨图像、时序波形与文本台账三类数据，突破传统方法难以深度融合多模态信息的局限。
研究目标
1
构建波磨异常样本的规范化标注方法
2
研发基于自相关函数的钢轨波磨视觉识别算法
3
构建融合图像、时序波形与文本台账的大模型 Agent 自主诊断框架
研究方法
采用基于自相关函数（Autocorrelation Function，ACF）的图像算法提取波磨视觉特征，并构建大模型 Agent 诊断框架，自动融合时序波形与文本台账进行分段解析，实现对波磨以及转弯、冲击等复杂行车工况的识别与区分。
技术路线
- 1
波磨异常样本标注
研发波磨异常样本标注系统，缓解“异常样本占比极低、高质量标签匮乏”的数据难题。
- 2
基于自相关函数的视觉识别
对钢轨图像进行边缘识别与二值化，计算自相关函数（Autocorrelation Function，ACF），并在 30–300 mm 周期范围内检测峰值，以判定波磨及其严重程度，方法可解释且无须大规模训练。
- 3
大模型 Agent 多模态融合诊断
构建大模型 Agent 诊断框架，自动融合时序波形与文本台账进行分段解析，在检出波磨的同时识别并区分转弯、冲击等复杂行车工况，全流程可解释。
方法与结果
研究成果
纯图像端钢轨波磨识别准确率达 96%
Agent 系统实现复杂工况自动化精细诊断，全流程可解释
方向累计发表 4 篇高水平 SCI，授权 5 项发明专利
适合谁 · 合作入口
想做多模态大模型 Agent 应用研究的同学；轨道交通与基础设施运维单位。