2.793

2018影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于时序图像深度学习的电熔镁炉异常工况诊断

吴高昌 刘强 柴天佑 秦泗钊

吴高昌, 刘强, 柴天佑, 秦泗钊. 基于时序图像深度学习的电熔镁炉异常工况诊断. 自动化学报, 2019, 45(8): 1475-1485. doi: 10.16383/j.aas.c180453
引用本文: 吴高昌, 刘强, 柴天佑, 秦泗钊. 基于时序图像深度学习的电熔镁炉异常工况诊断. 自动化学报, 2019, 45(8): 1475-1485. doi: 10.16383/j.aas.c180453
WU Gao-Chang, LIU Qiang, CHAI Tian-You, QIN S. Joe. Abnormal Condition Diagnosis Through Deep Learning of Image Sequences for Fused Magnesium Furnaces. ACTA AUTOMATICA SINICA, 2019, 45(8): 1475-1485. doi: 10.16383/j.aas.c180453
Citation: WU Gao-Chang, LIU Qiang, CHAI Tian-You, QIN S. Joe. Abnormal Condition Diagnosis Through Deep Learning of Image Sequences for Fused Magnesium Furnaces. ACTA AUTOMATICA SINICA, 2019, 45(8): 1475-1485. doi: 10.16383/j.aas.c180453

基于时序图像深度学习的电熔镁炉异常工况诊断


DOI: 10.16383/j.aas.c180453
详细信息
    作者简介:

    吴高昌   流程工业综合自动化国家重点实验室博士研究生.主要研究方向为图像处理, 计算摄像学, 机器学习和故障诊断.E-mail:ahwgc2009@163.com

    刘强  东北大学副教授, 2014~2016年为美国南加州大学化工系博士后.主要研究方向为基于数据的复杂工业过程建模与故障诊断.E-mail:liuq@mail.neu.edu.cn

    秦泗钊  美国南加州大学教授.IEEEFellow, IFAC Fellow, AIChE Fellow.主要研究方向为统计过程监控, 故障诊断, 模型预测控制, 系统辨识, 建筑能源优化与控制性能监控.E-mail:sqin@usc.edu

    通讯作者: 柴天佑  中国工程院院士, 东北大学教授.IEEE Fellow, IFAC Fellow, 欧亚科学院院士.主要研究方向为自适应控制, 智能解耦控制, 流程工业综合自动化理论、方法与技术.本文通信作者.E-mail:tychai@mail.neu.edu.cn
  • 本文责任编委 徐德
  • 基金项目:

    国家自然科学基金 61490701

    国家自然科学基金 61833004

    国家自然科学基金 61673097

    国家自然科学基金 61490704

Abnormal Condition Diagnosis Through Deep Learning of Image Sequences for Fused Magnesium Furnaces

More Information
    Author Bio:

    Ph. D. candidate at the State Key Laboratory of Synthetical Automation for Process Industries. His research interest covers image processing, computational photography, machine learning and fault diagnosis

    Associate professor at Northeastern University, China, and postdoctoral in the Department of Chemical Engineering, University of Southern California, USA from 2014 to 2016. His research interest covers statistical process monitoring and fault diagnosis of complex industrial processes

    Professor at University of Southern California, USA, IEEE Fellow, IFAC Fellow, and AIChE Fellow. His research interest covers statistical process monitoring, fault diagnosis, model predictive control, system identification, building energy optimization, and control performance monitoring

    Corresponding author: CHAI Tian-You Academician of Chinese Academy of Engineering, professor at Northeastern University, IEEE Fellow, IFAC Fellow, academician of International Eurasian Academy of Sciences. His research interest covers adaptive control, intelligent decoupling control, theories, methods and technology of integrated automation of process industries. Corresponding author of this paper
  • Fund Project:

    National Natural Science Foundation of China 61490701

    National Natural Science Foundation of China 61833004

    National Natural Science Foundation of China 61673097

    National Natural Science Foundation of China 61490704

  • 摘要: 超高温电熔镁炉(Fused magnesium furnace,FMF)生产炉况监测困难,易发生欠烧异常工况,不仅造成产品质量下降,也直接危害生产安全与人员安全.现有的人工巡检方式实时性差,容易发生漏报和误报,甚至导致铁制炉壳烧透、烧漏.针对该问题,本文采用视频信号,利用电熔镁炉欠烧工况的时空特征,即在炉壳表面出现的局部不规则高亮区域的空间特征,以及该高亮区域随时间呈现出亮度增强、面积变大的时序特征,提出一种基于卷积循环神经网络(Convolutional recurrent neural network,CRNN)的电熔镁炉异常工况诊断新方法.该方法包括图像序列一致性变换和时序残差图像提取预处理、基于卷积神经网络(Convolutional neural network,CNN)的空间特征提取、基于循环神经网络(Recurrent neural network,RNN)的时序特征提取、基于加权中值滤波的工况自动标记.最后采用实际的电熔镁炉炉壳的视频信号,进行了所提方法与现有的两种深度学习网络模型的实验比较研究,结果说明了所提方法的优越性.
    本文责任编委 徐德
  • 图  1  电熔镁炉欠烧工况视觉特征分析

    Fig.  1  Analysis of visual features of semimolten condition for an FMF

    图  2  基于CRNN的电熔镁炉欠烧工况诊断策略结构图

    Fig.  2  Framework of the proposed semimolten condition diagnosis based on CRNN for FMF

    图  3  卷积神经网络结构

    Fig.  3  Architecture of the proposed CNN

    图  4  循环神经网络结构

    Fig.  4  Structure of the RNN

    图  5  LSTM单元

    Fig.  5  The LSTM unit

    图  6  基于加权中值滤波的训练集标签生成

    Fig.  6  Generation of training labels based on weighted median filter

    图  7  卷积循环神经网络收敛曲线

    Fig.  7  Convergence curve of the convolutional recurrent network

    图  8  电熔镁炉欠烧工况诊断结果

    Fig.  8  Results of the semimolten condition diagnosis for FMF

    图  9  电熔镁炉欠烧工况诊断结果可视化

    Fig.  9  Visualization of diagnosis result of semimolten condition for FMF

    图  10  卷积神经网络的核函数可视化

    Fig.  10  Visualization of kernels in the trained CNN

    表  1  电熔镁炉欠烧工况的诊断率(%)

    Table  1  Diagnosis rates of semimolten condition for FMF (%)

    漏诊断率 误诊断率 总诊断率
    CNN[21] 5.74 13.22 81.04
    LSTM[12] 8.23 0.50 91.27
    本文方法 4.99 0.00 95.01
    下载: 导出CSV

    表  2  预处理对诊断率的影响(%)

    Table  2  Influences of two preprocessing procedures on diagnosis rates (%)

    漏诊断率 误诊断率 总诊断率
    无预处理 11.47 7.23 81.30
    无预处理1 10.22 6.73 83.04
    无预处理2 7.48 2.74 89.77
    本文方法 4.99 0.00 95.01
    下载: 导出CSV
  • [1] Fuchs A, Kaifer E, Himmel H J. Synthesis and characterization of the new tetrameric magnesium imide compound[(thf)MgNSiPh3]4. European Journal of Inorganic Chemistry, 2008, 2008(1):41-43 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=10.1002/ejic.200701155
    [2] Zhang X, Xue D F, Xu D L, Feng X Q, Wang J Y. Growth of large MgO single crystals by an arc-fusion method. Journal of Crystal Growth, 2005, 280(1-2):234-238 doi:  10.1016/j.jcrysgro.2005.03.061
    [3] Zhang X, Xue D F, Wang J Y, Feng X Q. Improved growth technology of large MgO single crystals. Journal of Crystal Growth, 2006, 292(2):505-509 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=9bc5b58b1b7edea7a578dc82744b899f
    [4] Wu Z W, Wu Y J, Chai T Y, Sun J. Data-driven abnormal condition identification and self-healing control system for fused magnesium furnace. IEEE Transactions on Industrial Electronics, 2015, 62(3):1703-1715 doi:  10.1109/TIE.2014.2349479
    [5] Chai T Y, Wu Z W, Wang H. A CPS based optimal operational control system for fused magnesium furnace. IFAC-PapersOnLine, 2017, 50(1):14992-14999 doi:  10.1016/j.ifacol.2017.08.2566
    [6] Maninis K K, Pont-Tuset J, Arbelaez P, van Gool L. Convolutional oriented boundaries:from image segmentation to high-level tasks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4):819-833 doi:  10.1109/TPAMI.2017.2700300
    [7] 孙旭, 李晓光, 李嘉锋, 卓力.基于深度学习的图像超分辨率复原研究进展.自动化学报, 2017, 43(5):697-709 http://www.aas.net.cn/CN/abstract/abstract19048.shtml

    Sun Xu, Li Xiao-Guang, Li Jia-Feng, Zhuo Li. Review on deep learning based image super-resolution restoration algorithms. Acta Automatica Sinica, 2017, 43(5):697-709 http://www.aas.net.cn/CN/abstract/abstract19048.shtml
    [8] 胡长胜, 詹曙, 吴从中.基于深度特征学习的图像超分辨率重建.自动化学报, 2017, 43(5):814-821 http://www.aas.net.cn/CN/abstract/abstract19059.shtml

    Hu Chang-Sheng, Zhan Shu, Wu Cong-Zhong. Image super-resolution based on deep learning features. Acta Automatica Sinica, 2017, 43(5):814-821 http://www.aas.net.cn/CN/abstract/abstract19059.shtml
    [9] 孙晓, 潘汀, 任福继.基于ROI-KNN卷积神经网络的面部表情识别.自动化学报, 2016, 42(6):883-891 http://www.aas.net.cn/CN/abstract/abstract18879.shtml

    Sun Xiao, Pan Ting, Ren Fu-Ji. Facial expression recognition using ROI-KNN deep convolutional neural networks. Acta Automatica Sinica, 2016, 42(6):883-891 http://www.aas.net.cn/CN/abstract/abstract18879.shtml
    [10] Huang C, Li Y N, Loy C C, Tang X O. Learning deep representation for imbalanced classification. In: Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016.5375-5384
    [11] 卢绍文, 王克栋, 吴志伟, 李鹏琦, 郭章.基于深度卷积网络的电熔镁炉欠烧工况在线识别.控制与决策, 2017, 23(9):1-8 http://d.old.wanfangdata.com.cn/Periodical/kzyjc201907026

    Lu Shao-Wen, Wang Ke-Dong, Wu Zhi-Wei, Li Peng-Qi, Guo Zhang. Online detection of semi-molten of fused magnesium furnace based on deep convolutional neural network. Control and Decision, 2017, 23(9):1-8 http://d.old.wanfangdata.com.cn/Periodical/kzyjc201907026
    [12] Graves A, Jaitly N. Towards end-to-end speech recognition with recurrent neural networks. In: Proceedings of the 31st International Conference on Machine Learning. Beijing, China: JMLR.org, 2014. Ⅱ-1764-Ⅱ-1772
    [13] Sutskever I, Vinyals O, Le Q V. Sequence to sequence learning with neural networks. In: Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press, 2014.3104-3112
    [14] Donahue J, Hendricks L A, Rohrbach M, Venugopalan S, Guadarrama S, Saenko K, et al. Long-term recurrent convolutional networks for visual recognition and description. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4):677-691 doi:  10.1109/TPAMI.2016.2599174
    [15] Srivastava N, Mansimov E, Salakhutdinov R. Unsupervised learning of video representations using LSTMs. In: Proceedings of the 32nd International Conference on Machine Learning. Lille, France: JMLR.org, 2015.843-852
    [16] Graves A. Generating sequences with recurrent neural networks. arXiv preprint arXiv: 1308.0850, 2013.
    [17] Reinhard E, Adhikhmin M, Gooch B, Shirley P. Color transfer between images. IEEE Computer Graphics and Applications, 2001, 21(5):34-41 http://d.old.wanfangdata.com.cn/Periodical/jsjfzsjytxxxb200609009
    [18] Bengio Y, Simard P, Frasconi P. Learning long-term dependencies with gradient descent is difficult. IEEE Transactions on Neural Networks, 1994, 5(2):157-166 doi:  10.1109/72.279181
    [19] Hochreiter S, Schmidhuber J. Long short-term memory. Neural Computation, 1997, 9(8):1735-1780 doi:  10.1162/neco.1997.9.8.1735
    [20] Hendricks L A, Venugopalan S, Rohrbach M, Mooney R, Saenko K, Darrell T. Deep compositional captioning: describing novel object categories without paired training data. In: Proceedings of the 29th IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE, 2016.1-10
    [21] Zhao R, Ouyang W L, Li H S, Wang X G. Saliency detection by multi-context deep learning. In: Proceedings of the 28th IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE, 2015.1265-1274 http://ieeexplore.ieee.org/xpls/icp.jsp?arnumber=7298731
    [22] Abadi M, Agarwal A, Barham P, Brevdo E, Chen Z F, Citro C, et al. TensorFlow: large-scale machine learning on heterogeneous distributed systems. arXiv preprint arXiv: 1603.04467, 2016.
    [23] Kingma D P, Ba J. Adam: a method for stochastic optimization. arXiv: 1412.6980, 2014.
    [24] Varol G, Laptev I, Schmid C. Long-term temporal convolutions for action recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(6):1510-1517 doi:  10.1109/TPAMI.2017.2712608
    [25] Lotter W, Kreiman G, Cox D. Deep predictive coding networks for video prediction and unsupervised learning. arXiv preprint arXiv: 1605.08104, 2016.
    [26] Zhao C H, Gao F R. Critical-to-fault-degradation variable analysis and direction extraction for online fault prognostic. IEEE Transactions on Control Systems Technology, 2017, 25(3):842-854 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=e6c78829e2f13c2931fe7469231efda8
  • [1] 林景栋, 吴欣怡, 柴毅, 尹宏鹏. 卷积神经网络结构优化综述[J]. 自动化学报, 2020, 46(1): 24-37. doi: 10.16383/j.aas.c180275
    [2] 练秋生, 富利鹏, 陈书贞, 石保顺. 基于多尺度残差网络的压缩感知重构算法[J]. 自动化学报, 2019, 45(11): 2082-2091. doi: 10.16383/j.aas.c170546
    [3] 林金花, 姚禹, 王莹. 基于深度图及分离池化技术的场景复原及语义分类网络[J]. 自动化学报, 2019, 45(11): 2178-2186. doi: 10.16383/j.aas.2018.c170439
    [4] 周登文, 赵丽娟, 段然, 柴晓亮. 基于递归残差网络的图像超分辨率重建[J]. 自动化学报, 2019, 45(6): 1157-1165. doi: 10.16383/j.aas.c180334
    [5] 冯永, 陈以刚, 强保华. 融合社交因素和评论文本卷积网络模型的汽车推荐研究[J]. 自动化学报, 2019, 45(3): 518-529. doi: 10.16383/j.aas.2018.c170245
    [6] 王维洲, 吴志伟, 柴天佑. 电熔镁砂熔炼过程带输出补偿的PID控制[J]. 自动化学报, 2018, 44(7): 1282-1292. doi: 10.16383/j.aas.2018.c170620
    [7] 唐贤伦, 杜一铭, 刘雨微, 李佳歆, 马艺玮. 基于条件深度卷积生成对抗网络的图像识别方法[J]. 自动化学报, 2018, 44(5): 855-864. doi: 10.16383/j.aas.2018.c170470
    [8] 罗建豪, 吴建鑫. 基于深度卷积特征的细粒度图像分类研究综述[J]. 自动化学报, 2017, 43(8): 1306-1318. doi: 10.16383/j.aas.2017.c160425
    [9] 孙旭, 李晓光, 李嘉锋, 卓力. 基于深度学习的图像超分辨率复原研究进展[J]. 自动化学报, 2017, 43(5): 697-709. doi: 10.16383/j.aas.2017.c160629
    [10] 随婷婷, 王晓峰. 一种基于CLMF的深度卷积神经网络模型[J]. 自动化学报, 2016, 42(6): 875-882. doi: 10.16383/j.aas.2016.c150741
    [11] 孙晓, 潘汀, 任福继. 基于ROI-KNN卷积神经网络的面部表情识别[J]. 自动化学报, 2016, 42(6): 883-891. doi: 10.16383/j.aas.2016.c150638
    [12] 张婷, 李玉鑑, 胡海鹤, 张亚红. 基于跨连卷积神经网络的性别分类模型[J]. 自动化学报, 2016, 42(6): 858-865. doi: 10.16383/j.aas.2016.c150658
    [13] 张晖, 苏红, 张学良, 高光来. 基于卷积神经网络的鲁棒性基音检测方法[J]. 自动化学报, 2016, 42(6): 959-964. doi: 10.16383/j.aas.2016.c150672
    [14] 刘明, 李国军, 郝华青, 侯增广, 刘秀玲. 基于卷积神经网络的T波形态分类[J]. 自动化学报, 2016, 42(9): 1339-1346. doi: 10.16383/j.aas.2016.c150817
    [15] 常亮, 邓小明, 周明全, 武仲科, 袁野, 杨硕, 王宏安. 图像理解中的卷积神经网络[J]. 自动化学报, 2016, 42(9): 1300-1312. doi: 10.16383/j.aas.2016.c150800
  • 加载中
图(10) / 表(2)
计量
  • 文章访问数:  318
  • HTML全文浏览量:  137
  • PDF下载量:  43
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-06-29
  • 录用日期:  2018-09-04
  • 刊出日期:  2019-08-20

基于时序图像深度学习的电熔镁炉异常工况诊断

doi: 10.16383/j.aas.c180453
    基金项目:

    国家自然科学基金 61490701

    国家自然科学基金 61833004

    国家自然科学基金 61673097

    国家自然科学基金 61490704

    作者简介:

    吴高昌   流程工业综合自动化国家重点实验室博士研究生.主要研究方向为图像处理, 计算摄像学, 机器学习和故障诊断.E-mail:ahwgc2009@163.com

    刘强  东北大学副教授, 2014~2016年为美国南加州大学化工系博士后.主要研究方向为基于数据的复杂工业过程建模与故障诊断.E-mail:liuq@mail.neu.edu.cn

    秦泗钊  美国南加州大学教授.IEEEFellow, IFAC Fellow, AIChE Fellow.主要研究方向为统计过程监控, 故障诊断, 模型预测控制, 系统辨识, 建筑能源优化与控制性能监控.E-mail:sqin@usc.edu

    通讯作者: 柴天佑  中国工程院院士, 东北大学教授.IEEE Fellow, IFAC Fellow, 欧亚科学院院士.主要研究方向为自适应控制, 智能解耦控制, 流程工业综合自动化理论、方法与技术.本文通信作者.E-mail:tychai@mail.neu.edu.cn
  • 本文责任编委 徐德

摘要: 超高温电熔镁炉(Fused magnesium furnace,FMF)生产炉况监测困难,易发生欠烧异常工况,不仅造成产品质量下降,也直接危害生产安全与人员安全.现有的人工巡检方式实时性差,容易发生漏报和误报,甚至导致铁制炉壳烧透、烧漏.针对该问题,本文采用视频信号,利用电熔镁炉欠烧工况的时空特征,即在炉壳表面出现的局部不规则高亮区域的空间特征,以及该高亮区域随时间呈现出亮度增强、面积变大的时序特征,提出一种基于卷积循环神经网络(Convolutional recurrent neural network,CRNN)的电熔镁炉异常工况诊断新方法.该方法包括图像序列一致性变换和时序残差图像提取预处理、基于卷积神经网络(Convolutional neural network,CNN)的空间特征提取、基于循环神经网络(Recurrent neural network,RNN)的时序特征提取、基于加权中值滤波的工况自动标记.最后采用实际的电熔镁炉炉壳的视频信号,进行了所提方法与现有的两种深度学习网络模型的实验比较研究,结果说明了所提方法的优越性.

本文责任编委 徐德

English Abstract

吴高昌, 刘强, 柴天佑, 秦泗钊. 基于时序图像深度学习的电熔镁炉异常工况诊断. 自动化学报, 2019, 45(8): 1475-1485. doi: 10.16383/j.aas.c180453
引用本文: 吴高昌, 刘强, 柴天佑, 秦泗钊. 基于时序图像深度学习的电熔镁炉异常工况诊断. 自动化学报, 2019, 45(8): 1475-1485. doi: 10.16383/j.aas.c180453
WU Gao-Chang, LIU Qiang, CHAI Tian-You, QIN S. Joe. Abnormal Condition Diagnosis Through Deep Learning of Image Sequences for Fused Magnesium Furnaces. ACTA AUTOMATICA SINICA, 2019, 45(8): 1475-1485. doi: 10.16383/j.aas.c180453
Citation: WU Gao-Chang, LIU Qiang, CHAI Tian-You, QIN S. Joe. Abnormal Condition Diagnosis Through Deep Learning of Image Sequences for Fused Magnesium Furnaces. ACTA AUTOMATICA SINICA, 2019, 45(8): 1475-1485. doi: 10.16383/j.aas.c180453
  • 电熔镁砂(Fused magnesium furnace, FMF)具有熔点高、结构致密、抗氧化性强、耐压强度高、耐腐蚀性强以及化学性能稳定等优良特性, 在工业、军事领域乃至航天工业中都是不可或缺的战略资源.目前, 提炼电熔镁砂的工艺流程通常是利用三相交流电熔镁炉(简称电熔镁炉)通过电弧来对以菱镁矿石为主的粉末状原料加热熔炼.通过吸收电弧产生的热量将矿石粉末加热到近3 000℃, 分解为熔液状态的氧化镁(MgO)和二氧化碳(CO$_2$)气体, 再通过降温结晶过程排除杂质, 从而得到高纯度的MgO晶体, 即电熔镁砂[1-3].而熔炼所用容器为有限使用次数的铁制炉壳, 并通过水循环系统进行冷却.

    电熔镁炉的运行主要包括加热熔化、加料和排气三种正常工况.由于我国电熔镁矿石存在品位低、矿物组成复杂以及成分波动大等特性, 物料在熔化过程中电阻和熔点不稳定, 易发生欠烧等异常工况[4-5], 对生产安全、人员安全和产品质量产生很大影响, 通常是由于原料杂质成分导致局部熔点升高, 以及不适当的电流设定值使局部熔炼区温度低于原料熔化温度, 熔池过于粘稠, 使CO$_2$气体无法正常排出, 迫使溶液穿透炉壳保护层与铁质炉壳直接接触, 造成炉壳温度过高至烧红烧透, 处理不及时甚至会导致烧漏、熔液漏出现象.

    由于超高温电熔镁炉熔液温度不直接可测, 目前欠烧异常工况主要通过现场工人定期观察炉壳特征来诊断.但人工巡检工作强度大、危险性高, 且准确性高度依赖操作人员的经验和状态.此外, 通常从正常工况到产生欠烧工况仅需2 $\sim$ 3分钟, 而巡检工人通常需要对每个厂区内的三台电熔镁炉进行往返巡视, 滞后性大, 处理不及时会导致漏检.针对上述问题, 亟需一种自动且快速有效的电熔镁炉工况诊断方法.文献[4]提出了一种基于电流数据的工况诊断方法, 通过各工况的历史电流数据提取出一系列专家规则库, 再利用该规则库对现场运行工况进行实时诊断.但实际生产的众多不稳定因素导致该方法无法准确、稳定地工作, 例如熔池中不断产生的CO$_2$气泡导致熔液翻滚, 使液面与三相电极间距不断变化, 电阻也会随之改变, 导致电流无规律的波动.此外, 根据电流数据人为制定专家规则也高度依赖于专家经验, 易发生漏报和误报.在计算机视觉领域, 卷积神经网络(Convolutional neural network, CNN)由于出色的空间特征提取性能被用于图像分割[6]、图像超分辨率复原[7-8]以及图像识别[9-10].利用CNN的空间特征提取特性以及生成式对抗神经网络(Generative adversarial networks, GAN)的样本生成特性, 文献[11]通过静态图像信息进行工况诊断, 但在训练与预测过程仅利用单帧图片输入, 缺少对连续时间信息的感知, 因此模型无法描述实际生产的动态过程.而在动态过程的表征及识别方面, 循环神经网络(Recurrent neural network, RNN)由于特殊的时序编码结构被广泛应用于语音辨识[12-13]、视频识别[14]以及视频预测中[15].但RNN结构仅利用全连接结构作为输入, 因此往往忽略了图像序列中的空间特征.

    根据前文所述, 电熔镁炉欠烧工况时溶液凝固在炉壳内壁导致炉壳烧红烧透, 为异常工况诊断提供了更直观的视觉信息.本文主要工作如下:

    为排除熔炼现场众多随机因素的干扰, 提出灰度一致性变换和时序残差图像提取的预处理方法; 针对电熔镁炉异常工况发生发展的视觉特征, 提出将CNN与RNN相结合的工况诊断方法, 其中CNN对预处理后的序列图像提取空间特征并编码为时间独立的特征向量, 再将一系列按时间序列排列的特征向量输入至RNN用以提取时序特征, 从而挖掘出异常工况从无到有再到显著的时空特性; 针对电熔镁炉异常工况标记数据稀疏及获取困难等问题, 且为了避免人工逐帧标记, 结合电熔镁炉异常工况的位置相对固定以及随时间变化缓慢的特性, 提出一种基于加权中值滤波的欠烧工况标记方法, 并利用电熔镁炉实际生产过程的视频信号, 对所提方法与现有两种深度学习模型(基于CNN的模型与基于RNN的模型)进行了实验比较, 验证了所提方法的有效性.

    • 电熔镁炉生产现场如图 1 (a)所示, 其中实线框内为所标记的炉壳区域.当欠烧工况开始发生时, 炉壳的局部区域会被粘稠MgO熔液烧红(如图 1 (b)所示, 其中欠烧工况发生的部位被标记在实线框内).通过识别炉壳的图像序列中的高亮度区域便能对这一工况进行判断.但由于高亮度水雾以及炉壳上固有的白斑干扰, 直接通过图像中高亮度区域来判断往往导致极高概率的误报.通过对原始图像序列提取出时序残差信息(如图 1 (c)显示了某时刻欠烧工况下的时序残差图像, 两处高亮度区域为欠烧区域), 可有效抑制炉壳上固有特征(如白斑)带来的干扰, 以及由于不同图像序列中光照不一致造成的环境干扰.

      图  1  电熔镁炉欠烧工况视觉特征分析

      Figure 1.  Analysis of visual features of semimolten condition for an FMF

      在空间维度上, 虽然欠烧工况的区域形状不定, 但由于其形成的内在机理是由于熔液凝固在炉壳内壁所致, 因此具有一定的空间特征规律(如图 1 (b)所示).最直接的异常工况诊断方法是对残差图像进行逐帧空间特征提取, 再对工况进行分类.然而, 由于环绕在炉壳周围的水雾也呈现出高亮度特征, 且区域形状不定, 会对最终的分类结果造成较大干扰.因此, 大量水雾带来的干扰成为从空间维度准确诊断电熔镁炉欠烧工况的主要难点.简单地将空间特征作为判断依据并无法完整描述欠烧工况.

      在时间维度上, 欠烧区域一旦发生则位置随时间相对固定, 且亮度与范围随时间递增的特征不同, 水雾在时间维度中呈现出持续时间短且空间位置不确定性强的特征.图 1 (d)图 1 (c)中竖线标记位置处残差随时间的变化, 其中横坐标为时间序列, 纵坐标为图像空间维度中的垂直维度$ y $.图 1 (d)中, 虚线框内为水雾干扰区域, 随时间呈现出类似噪声分布特征; 实线框内为欠烧工况区域, 在时间维度上呈现出位置相对固定而强度递增的特征.但由于各种因素干扰, 欠烧工况区域并不是严格随时间变大, 即会在某些时刻变小甚至在短时间内消失(如图 1 (d)箭头所示).因此, 在利用每一时刻图像的空间信息的同时, 需要结合其在长时间跨度的整体动态特性作为诊断依据.

    • 本文利用电熔镁炉现场生产过程的视频信号, 结合欠烧(异常)工况的视觉特征, 分别利用CNN与RNN提取空间与时间维度上的特征, 并建立如图 2所示的基于卷积循环神经网络(Convolutional recurrent neural network, CRNN)的电熔镁炉欠烧工况诊断结构.该结构主要由三部分组成:图像序列预处理模块、基于卷积循环神经网络的特征提取模块和基于加权中值滤波的工况区域标记模块.

      图  2  基于CRNN的电熔镁炉欠烧工况诊断策略结构图

      Figure 2.  Framework of the proposed semimolten condition diagnosis based on CRNN for FMF

      将图像序列预处理得到的结果作为网络输入, 基于加权中值滤波的工况区域标记作为网络的期望输出, 建立基于CRNN的特征提取模型.在实时诊断过程中(图 2中实线框部分), 对于实时视频信号首先通过视频序列预处理模块, 处理后的图像序列输入训练得到的CRNN模型得到诊断结果输出.

      具体地, 图像序列预处理模块由图像序列灰度一致性变换与时序残差图像提取步骤组成, 前者用以排除电熔镁炉炉口火焰亮度波动造成的相机不稳定曝光干扰, 后者用以排除不同炉壳表面固有视觉特征带来的干扰.在基于RNN的特征提取模块中, CNN利用输入的图像提取空间特征, 并输出时序上无关联的空间特征向量, 而RNN则利用该特征向量在时序维度上进行特征提取, 并最终获得工况诊断信息.本文使用对时间感知能力较强的长短期记忆(Long short-term memory, LSTM)结构[16]作为RNN的基本单元.由于对实际视频信号进行逐帧的异常工况区域标记过程复杂且成本过高, 本文结合欠烧异常工况的视觉特征, 利用基于加权中值滤波的工况区域标记模块对标记数据进行稠密化与区域优化, 而初始标签数据获取阶段仅需要粗略与时序稀疏的人工标记.

    • 首先对相机采集的原始图像序列依次进行灰度一致性变换和时序残差图像提取.

      1) 图像序列灰度一致性变换.在生产过程中, 电熔镁炉炉口亮度波动会对相机曝光产生随机干扰, 相机自动调整曝光量会使拍摄的炉体图像明暗不一.这种整体的环境光波动会对后续空间特征提取产生干扰.因此, 本文利用灰度一致性约束[17]对炉壳图像序列进行处理.令$ V_ {\rm RGB} = \{I_1, I_2, \cdots, I_N\} $为相机拍摄的图像序列, 其中$ I_n $为第$ n $帧RGB空间的图像.首先通过颜色空间映射将RGB空间的图像序列$ V $转换到Lab空间, 即$ V_ {\rm Lab} = f_{\rm Lab}(V_ {\rm RGB}) = $ $ \{f_ {\rm Lab}(I_1) $, $ f_ {\rm Lab}(I_2), \cdots, f_ {\rm Lab}(I_N)\} $, 其中$ f_ {\rm Lab} $为颜色空间映射函数(将RGB空间图像映射到Lab空间).现将Lab空间的图像$ f(I_n) $简写为$ H_n $, 则经过灰度一致性约束的图像$ \hat{H} $为

      $$ \begin{align} &\hat{H}^l_n = \frac{\varphi(H^l_t)}{\varphi(H^l_n)}(H^l_n-\bar{H}^l_n)+\bar{H}^l_t, \ \ l\in\{{\rm L, a, b}\}\\ &H_t = \frac{1}{N_1}\sum\limits_{i = 1}^{N_1}H_i \end{align} $$ (1)

      其中, L, a, b分别为Lab颜色空间的三个通道, $ H^l_n $为第$ n $帧Lab空间中的第$ l $通道的图像, $ \hat{H}^l_n $为约束后对应的图像, $ H^l_t $为参考帧$ t $下的图像, $ \bar{H} $表示对图像$ H $取均值, $ \varphi(H) $表示对图像$ H $取标准差.为排除相机噪声干扰, 将$ H_t $取为前$ N_1 $帧图像的平均值作为参考图像而非单一帧图像. $ N_1 $的取值主要依据熔炼过程中炉口火焰的闪烁周期和炉壳周围的水雾移动速度共同决定, 本文取经验值50.则通过灰度一致性变换后的图像序列$ \hat{V}_{\rm Lab} = $ $ \{\hat{H}_1, \hat{H}_2, \cdots $, $ \hat{H}_N\} $.最后将Lab空间的图像序列转换回RGB空间, 得到$ \hat{V}_ {\rm RGB} = $ $ \{\hat{I}_1, \hat{I}_2, \cdots, \hat{I}_N\} $.

      2) 时序残差图像提取.不同电熔镁炉可能存在固有的视觉特征差异, 例如图 1 (b)中炉壳上的白斑, 以及不同的环境光源.为排除这些固有视觉特征差异对工况诊断的干扰以及使后续网络模型可以用于不同电熔镁炉, 本文对经过灰度一致性变换后的图像序列进行时序残差图像(图 1 (c))提取, 其值为

      $$ \begin{align} R_n = f_{\rm YUV}(\hat{I}_n)-\frac{1}{N_2}\sum\limits_{i = N_1+1}^{N_1+N_2}f_ {\rm YUV}(\hat{I}_i) \end{align} $$ (2)

      其中, $ R_n $表示第$ n $帧时序残差图像, $ f_ {\rm YUV} $为将图像从RGB空间映射到YUV空间的函数.类似式(1), 取前$ N_2 $帧图像的平均值作为参考图像, 其中$ N_2 $取经验值50.本文仅采用式(2)中时序残差图像$ R_n $的Y通道作为后续基于深度学习的工况诊断的网络模型输入, 即时序残差图像序列$ V_R = $ $ \{R_1 $, $ R_2 $, $ \cdots $, $ R_N\} $.

      需要注意的是, 本文提到的时序残差图像是指相对于初始状态(即前50帧的平均状态)的残差而非相对于上一时刻的残差.另一点需要注意的是, 由于熔炼初期不会发生欠烧工况, 使用熔炼初期的前$ N_2 $帧图像的平均值作为参考图像.因此, 该预处理不会带来诊断延迟.

    • 1) 基于CNN的空间特征提取.传统图像处理方法依靠人为定义的算子(如梯度算子、Sobel算子和SIFT算子)提取图像特征.这些由算子提取特征的操作可视为算子$ \omega $与残差图像$ R $的卷积操作, 即$ F = \omega\ast R $, 其中, $ \ast $代表卷积操作, $ F $为图像特征矩阵.与传统方法不同, CNN将卷积算子也称为卷积核$ W $, 视为可以调节的网络参数, 即依靠大量训练数据和优化算法对这些参数进行自动调整, 从而达到提取图像特征的目的.因此本文将一层卷积网络描述为

      $$ \begin{align} L_ {\rm conv}^j = {\rm ReLu}(W^j\ast L_ {\rm conv}^{j-1}+B^j) \end{align} $$ (3)

      其中, $ L_ {\rm conv}^j $为第$ j $层网络输出, $ L_ {\rm conv}^{j-1} $为前一层网络输入(对于第1层网络, $ L_ {\rm conv}^{j-1} $为输入数据, 即时序残差图像), $ B_i $为偏置参数, ReLu$ (\cdot) $为修正线性单元(Rectified linear units, ReLu), $ {\rm ReLu}(x) = $ $ {\rm max}(x, 0) $.本文使用每10帧时序残差图像$ R = $ $ \{R_1, R_2, \cdots, R_{10}\} $作为CNN的输入, 即输入为一个$ w\times h\times10 $的三维矩阵, 其中$ w $为图像宽度, $ h $为图像高度.本文采用6层卷积网络(即$ j = 1, 2 $, $ \cdots $, $ 6 $), 其结构以及每一层网络的卷积核$ W $大小如图 3所示.第1层网络的卷积核为$ 10 \times 11 \times 11 $ $ \times $ $ 64 $, 输出大小为$ 64\times(w-10)\times (h - 10) $; 第2层的卷积核为$ 64\times 5 \times 5 \times128 $, 输出大小为$ 128\times (w $ $ - $ $ 14)\times (h-14) $; 第3层的卷积核为$ 128 \times 3 \times 3 $ $ \times $ $ 128 $, 输出大小为$ 128\times(w-16)\times(h-16) $; 第4层的卷积核为$ 128\times3\times3 \times 64 $, 输出大小为$ 64 $ $ \times $ $ (w-18)\times (h-18) $; 第5层的卷积核为$ 64 \times 5 \times 5 $ $ \times $ $ 64 $, 输出大小为$ 64 \times (w-22) \times (h-22) $; 第6层的卷积核为$ 64\times11\times11\times 64 $, 输出大小为$ 64 $ $ \times $ $ (w-32)\times (h-32) $.为了使网络具有非线性映射关系, 第1 $ \sim $ 5层网络后均包括一层ReLu操作(图 3中为便于观察网络结构没有给出).由于每层网络无填充(Padding)操作, 因此输出的空间维度大小逐层降低.例如, 对于空间维度大小为$ 33 \times 33 \times 10 $的输入, 最终输出为64维的向量.

      图  3  卷积神经网络结构

      Figure 3.  Architecture of the proposed CNN

      2) 基于RNN的时序特征提取.本文使用的循环神经网络直接利用CNN的输出$ y_ {\rm conv} $作为输入, 结构如图 4所示, 其中网络输入$ x $对应于卷积网络输出$ y_ {\rm conv} $. RNN的隐含层单元不仅输出结果$ y $, 还包括状态$ h $, 且该状态$ h $通过不断循环(如图 4 (a)所示), 将时间序列信息引入网络.本文将输入$ x $的当前时刻及历史时刻的序列作为RNN的输入, 展开为如图 4 (b)所示的结构.需要注意的是, 由于状态$ h $通过不断循环传递时序信息, 时间$ t $的状态$ h^t $为该时刻的输入$ x $, 即$ y_ {\rm conv}^t $, 以及之前时刻的输入$ \{x^{t-1} $, $ x^{t-2}, \cdots\} $, 即$ \{y_ {\rm conv}^{t-1}, y_ {\rm conv}^{t-2}, \cdots\} $共同作用的结果.因此, RNN的循环结构使得该网络能够描述输入序列的时间特性.

      图  4  循环神经网络结构

      Figure 4.  Structure of the RNN

      传统循环神经网络单元, 存在随着时间递增, 后节点对前节点的感知能力下降, 即长期依赖问题[18].而长短期记忆单元, 即LSTM单元, 通过门的设计来保护与控制每个节点的状态, 其中一个门仅允许少量的线性交互, 使得时间较早的信息不会流失[19].因此, 本文利用LSTM作为RNN结构的核心单元来提取来自于CNN的时序特征, 结构如图 5所示, 其中

      $$ \begin{align} f^t& = \sigma(W_f\times[h^{t-1}, y_ {\rm conv}^t]^ {\rm T}+b_f)\\ i^t& = \sigma(W_i\times[h^{t-1}, y_ {\rm conv}^t]^ {\rm T}+b_i)\\ \tilde{C}^t& = \tanh(W_C\times[h^{t-1}, y_ {\rm conv}^t]^ {\rm T}+b_C)\\ C^t& = f^t\odot C^{t-1}+i^t\odot\tilde{C}^t\\ o^t& = \sigma(W_o\times[h^{t-1}, y_ {\rm conv}^t]^ {\rm T}+b_o)\\ h^t& = o^t\odot\tanh(C^t) \end{align} $$ (4)

      图  5  LSTM单元

      Figure 5.  The LSTM unit

      其中, $ f^t $, $ i^t $, $ \tilde{C}^t $, $ o^t $均为LSTM单元内部变量; $ \sigma(\cdot) $为sigmoid非线性单元, 即$ \sigma(x) = (1+{\rm e}^{-x})^{-1} $, $ \tanh $为双曲正切函数; $ \odot $为哈达马积, $ W_f $, $ W_i $, $ W_C $和$ W_o $为LSTM单元权值, $ b_f $, $ b_i $, $ b_C $和$ b_o $为LSTM单元偏置; $ y_{\rm conv}^t $为序列$ t $的卷积神经网络输出, $ h^{t-1} $与$ C^{t-1} $为$ t-1 $时刻LSTM单元输出; $ C^{t} $与$ h^{t} $为$ t $时刻LSTM单元输出.通过对LSTM单元输出$ h_t $使用softmax回归, 最终LSTM网络输出$ t $时刻(即第$ t $帧图像序列)诊断结果的概率分布$ P(y_t) $为

      $$ \begin{align} &P(y_t = k) = {\rm softmax}(h^t) = \\ &\qquad\frac{\exp(W_{hk}h^t_k+b_k)}{\sum\limits_{k'\in K}\exp(W_{hk}h^t_{k'}+b_k)} \end{align} $$ (5)

      其中, $ K $为诊断结果类别空间, $ K = [0, 1] $ (0代表正常区域, 1代表欠烧区域).最终诊断结果$ \hat{y}_t $为

      $$ \begin{align} \hat{y}_t = \arg\mathop{\max}_k(P(y_t = k), k\in K) \end{align} $$ (6)

      本文将两个网络(CNN与LSTM)作为一个整体进行训练, 其损失函数$ L_ {\rm Loss} $为交叉熵, 定义如下

      $$ \begin{align} L_ {\rm Loss} = -\sum\limits_{x\in X}\sum\limits_{k\in K}Q(y = k)\log(P(y = k)) \end{align} $$ (7)

      其中, $ (x, y) $为一组数据对, $ X $为批处理数据中数据对数量, $ Q(y = k) $为标签数据的概率分布, 即对于正常区域$ Q(y = 0) = 1 $, $ Q(y = 1) = 0 $, 而欠烧区域$ Q(y = 0) = 0 $, $ Q(y = 1) = 1 $.

    • 电熔镁炉欠烧工况主要依赖于人工判断, 但人为地对训练集图像序列的每一帧进行标签制作成本较高.例如, 对一段持续1小时的图像序列进行标签制作, 视频为30帧/s, 则需要对10万帧数据进行欠烧工况发生位置的标记.尽管训练集不成对的网络训练方法已被提出[20], 但需要利用只有输入数据和只有标签数据分别对网络进行训练, 再通过同时有输入和标签的数据对进行网络参数调整.因此, 仍然需要获取大量带有标签的工况数据.

      为了快速并准确获取大量已标记数据, 本文首先做出下述观察:

      1) 欠烧工况一旦发生, 其空间位置保持不变, 在残差图像中呈现出的区域大小随时间增加.

      2) 欠烧区域形状不规则, 但是一旦发生, 其形状不随时间发生较大变化.

      产生这两项观察的根本原因是由于接触炉壳内壁的MgO高粘度溶液不会随时间发生较大变化.

      结合上述两项观察, 本文提出一种从稀疏标记数据中自动得到密集标记数据的方法, 仅需手动对图像序列中的2帧图像进行欠烧工况的粗略定位, 就能够通过自动标记优化方法对整段图像序列的欠烧工况发生区域进行准确标记, 其具体步骤如下:

      1) 对图像序列进行稀疏粗略标记.对一段时序残差图像中欠烧工况发生的起始帧$ G_1 $与结束帧$ G_N $进行人工定位, 构成含有粗略定位的参考标记图像$ \bar{Y}_1 $, $ \bar{Y}_N $ (如图 6 (c)所示).

      图  6  基于加权中值滤波的训练集标签生成

      Figure 6.  Generation of training labels based on weighted median filter

      2) 将稀疏粗略标记传播至其他帧图像.利用线性投影将第一步中的两帧参考标记图像$ \bar{Y}_1, \bar{Y}_N $, 的标记区域传播至其他帧, 构成$ \bar{Y}_1, \bar{Y}_2, \cdots, \bar{Y}_N $, 其中线性投影可描述为

      $$ \begin{align} \mathit{\boldsymbol{O}}_i = \mathit{\boldsymbol{O}}_1+\frac{\mathit{\boldsymbol{O}}_N-\mathit{\boldsymbol{O}}_1}{N-1}(i-1) \end{align} $$ (8)

      其中, $ \mathit{\boldsymbol{O}}_i $为第$ i $帧对应的人工定位坐标.

      3) 标记区域优化.前两步得到的标记区域仅为粗略定位, 因此本文利用加权中值滤波对每一帧的参考标记图像$ \bar{Y}_N $进行优化处理以得到最终的标签数据$ Y_n $:

      $$ \begin{align} Y_n(p)& = \arg\mathop{ {\rm med}}_{k\in K}(h_p(k))\\ h_p(k)& = \sum\limits_{q\in \mathit{\boldsymbol{N}}(p)}\omega(p, q)\delta(\bar{Y}_n(q)-k)\bar{Y}_n(q)\\ \omega(p, q)& = \exp\left(-\frac{|R_i(p)-R_i(q)|^2}{2\rho_R^2}-\frac{|x_p-x_q|^2}{2\rho_x^2}\right) \end{align} $$ (9)

      其中, $ \mathit{\boldsymbol{N}}(p) $为像素$ p $的邻域, $ x_p $为像素$ p $的空间坐标, $ \delta $为克罗内克函数(Kronecker delta function), 即当内部变量为0时$ \delta(\cdot) = 1 $, 否则为$ \delta(\cdot) = 0 $, $ R_i $为预处理得到的第$ i $帧时序残差图像, $ \rho_R $和$ \rho_x $为加权中值滤波器的固有参数.本文取$ \rho_R = 0.08 $, $ \rho_x $ $ = $ $ 2 $.图 6 (d)为经过加权中值滤波后的标签, 结合图 6 (a)图 6 (b)可以看到该标签能够对欠烧区域进行准确定位.

    • 本节结合实际的电熔镁炉过程介绍卷积循环神经网络的具体实现细节, 并从电熔镁炉欠烧工况的诊断率与诊断敏感度两方面, 对提出的深度学习网络模型进行评价.其中, 诊断率由网络模型对所有测试帧的诊断正确率表示, 包括漏诊断率(欠烧工况发生时未检测出)、误诊断率(正常状态下诊断为欠烧工况)和总诊断率(总的诊断准确率); 诊断敏感度用从实际发生欠烧工况到由模型诊断出欠烧工况发生所历经的帧数表示.

      实验主要与现有的纯卷积神经网络模型[21]和纯循环神经网络模型[12]进行对比.其中, 文献[21]对输入图像分别提取局部空间特征与全局空间特征进行图像的显著性检测.具体地, 文献[21]对局部裁剪图像以及整体图像, 分别利用两个卷积神经网络进行空间特征提取, 再通过一层全连接层融合不同尺度的空间特征.而文献[12]利用含有多层LSTM单元的RNN进行语言识别.为了尽可能保证不同网络之间的对比公平性, 对文献[21]及文献[12]均采用7层网络结构, 即对文献[21]采用4层CNN与2层全连接层进行不同尺度的空间特征提取, 并利用1层全连接层进行特征融; 对文献[12]采用7层LSTM单元(本文提出的网络包含6层卷积层与1层LSTM单元).此外, 通过去除预处理步骤中的图像序列灰度一致性变换和时序残差图像提取这两步来分析提出的预处理方法对最终诊断结果的影响.

    • 本文使用从电熔镁炉熔炼现场采集的5组图像序列, 分辨率分别为$ 330\times380\times300 $, $ 330\times380\times 367 $, $ 315\times385\times800 $, $ 360\times480\times201 $和$ 360\times321\times200 $, 其中, 前两个维度分别为水平与垂直方向的空间维度, 最后一个维度为时间维度(即视频帧数).将第1 $ \sim $ 3组序列作为训练数据集, 第4组和第5组用于进行应用验证.由于工业背景下存在数据获取困难的问题, 直接使用采集到的图像序列用于会导致训练集过小, 网络容易产生过拟合现象.为此, 本文对第1 $ \sim $ 3组训练数据进行窗口化处理. CNN网络输入为$ 33\times33\times10 $的数据(即空间维度取$ 33\times33 $), LSTM网络总共所需的输入为$ 64\times10 $的数据, 则网络需要$ 33\times33\times19 $的数据输入.从欠烧工况开始时刻进行训练数据选取, 3组数据的开始时刻分别为121、266、290帧, 数据选取步幅为[14, 14, 8].共产生51 452组训练数据对.使用第2.2.3节中的训练数据集标记方法对训练与评价数据进行标记仅耗时60.46 s (除去对欠烧工况区域的人工定位时间).网络训练采用批处理方法, 每批含有128组数据, 则共产生401批数据, 其中350批作为训练数据, 50批作为验证数据.

      本文利用tensorflow[22]框架建立卷积循环神经网络模型(CNN网络与LSTM网络), 并利用式(7)中的损失函数对两个网络同时进行训练.使用均值为0、方差为$ 1\times10^{-3} $的高斯分布来初始化网络模型的权值, 偏置则初始化为0.使用Adam优化算法[23]进行网络训练, 初始学习率为$ 1\times10^{-3} $, 学习衰减率为0.99, 即对所有训练集训练一次则学习率衰减为之前的0.99倍.网络训练在i7-4770, 3.40 GHz的4核CPU、内存为16 GB的电脑中运行.通过$ 4 $ $ \times $ $ 10^5 $次训练, 网络模型逐渐收敛, 收敛曲线如图 7所示, 其中, 训练Loss和训练Acc分别表示训练时的损失函数Loss和准确率; 验证Loss和验证Acc分别表示验证时的损失函数Loss和准确率.

      图  7  卷积循环神经网络收敛曲线

      Figure 7.  Convergence curve of the convolutional recurrent network

    • 本文利用电熔镁炉熔炼现场采集的图像序列4和5对提出的卷积循环神经网络进行测试.将测试集中每一帧图像及其对应的工况作为一组测试数据, 即总测试数据数量为序列总帧数(401组).漏诊断率$ r_O $、误诊断率$ r_F $和总诊断率$ r_A $定义为

      $$ \begin{align} r_O& = \frac{\mbox{未诊断出的欠烧工况帧数}}{\mbox{序列总帧数}} \times100 \%\\ r_F& = \frac{\mbox{错误诊断为欠烧工况的帧数}}{\mbox{序列总帧数}} \times100 \%\\ r_A& = \frac{\mbox{诊断正确的帧数}}{\mbox{序列总帧数}}\times100 \% \end{align} $$ (10)

      表 1显示了文献[21]提出的卷积神经网络模型、文献[12]采用的循环神经网络模型和本文使用的卷积循环神经网络对电熔镁炉欠烧工况的诊断率.所有方法均使用第2.2.1节描述的预处理后的时序残差图像作为输入.

      表 1  电熔镁炉欠烧工况的诊断率(%)

      Table 1.  Diagnosis rates of semimolten condition for FMF (%)

      漏诊断率 误诊断率 总诊断率
      CNN[21] 5.74 13.22 81.04
      LSTM[12] 8.23 0.50 91.27
      本文方法 4.99 0.00 95.01

      表 1可以看出, 由于缺少在时间维度上的特征提取, 文献[21]中的卷积神经网络模型的总诊断率最低; 文献[12]中的循环神经网络模型由于缺少对图像序列中每个像素的领域像素进行编码(即空间特征提取)而导致总的诊断率低于本文提出的方法; 本文提出的CNN与RNN结合的方法通过对图像序列的空间特征和时序特征同时进行提取, 从而能够达到较高的诊断率, 且误诊断率较低(对本次实验的序列4和5, 误诊断率为0).

      图 8显示了对图像序列4和5的欠烧工况诊断结果, 包括序列中炉壳表面某一欠烧区域的平均灰度值, 对应的时序残差图像平均灰度值, 以及文献[12]中的循环神经网络模型和本文方法的诊断结果.文献[12]中的循环神经网络模型对欠烧工况的诊断在序列4中滞后标签数据8帧(0.27 s), 在序列5 (图 8 (b))中滞后27帧(0.90 s), 而本文方法在对欠烧工况的诊断序列4中滞后标签数据17帧(0.57 s), 在序列5中滞后1帧(0.03 s), 因此本文提出的方法对异常工况有着更高的敏感度.此外, 从图 8可以看出, 循环神经网络模型[12]的诊断结果稳定性较差, 例如在图 8 (b)中判断当前工况为异常工况后仍然可能将后续序列判断为正常工况, 而本文提出的方法相对而言更加稳定.为了方便方法比较, 对序列4从101 $ \sim $ 181帧(显示间隔为10帧)的结果进行了可视化展示, 每列自上而下分别为输入序列、CNN[21]、LSTM[12]和本文方法的结果, 诊断的欠烧区域以最小包围矩形标记显示如图 9所示.从图 9可以看到, 文献[12]中仅使用LSTM的诊断模型与文献[21]中仅使用CNN的诊断模型相比诊断结果更加稳定, 但两者均倾向于将高亮度水雾区域误诊断为欠烧区域(例如, 文献[21]诊断结果的第101, 111, 161, 181帧, 文献[12]诊断结果的第101, 141帧).而本文所提的卷积神经网络与循环神经网络相结合的方法则能够很大程度地避免这类误诊断现象.

      图  8  电熔镁炉欠烧工况诊断结果

      Figure 8.  Results of the semimolten condition diagnosis for FMF

      图  9  电熔镁炉欠烧工况诊断结果可视化

      Figure 9.  Visualization of diagnosis result of semimolten condition for FMF

      在算法运行角度方面, 在与训练所用电脑相同配置(i7-4770, 3.40 GHz的4核CPU, 16 GB内存)条件下, 所提方法在线诊断时对分辨率为360 $ \times $ 480的视频信号的执行速率为0.0271 s/帧, 其中预处理耗时0.0057 s/帧, 卷积循环神经网络耗时0.0214 s/帧.因此, 整个算法流程每秒可处理约37帧图像, 能够满足实时性要求.

    • 本节对第2.2节描述的预处理步骤(图像序列灰度一致性变换和时序残差图像提取)对最终欠烧工况诊断结果的影响进行分析, 并对训练中间结果, 即CNN的第一层卷积核进行可视化, 以分析空间特征对整个工况诊断的意义.

      表 2为预处理步骤对欠烧工况诊断率的影响结果, 其中, 无预处理为去除灰度一致性变换和时序残差图像提取步骤的结果, 无预处理1为去除灰度一致性变换步骤的结果, 无预处理2为去除时序残差图像提取步骤的结果.本文提出的两步预处理步骤分别解决了炉口火焰对相机曝光产生的影响和冗余信息对网络模型产生的影响.从表 2可以看出, 两者对最终的诊断结果均产生较为重要的影响, 其中图像序列灰度一致性变换(即预处理1)对诊断结果的影响更大.此外, 从图 8中输入图像平均灰度值与残差图像平均灰度值这两条曲线可以看出, 未做任何处理的图像序列, 图像灰度值在异常工况发生时无任何变化, 而经过时序残差图像提取后, 其灰度值变化较为明显.

      表 2  预处理对诊断率的影响(%)

      Table 2.  Influences of two preprocessing procedures on diagnosis rates (%)

      漏诊断率 误诊断率 总诊断率
      无预处理 11.47 7.23 81.30
      无预处理1 10.22 6.73 83.04
      无预处理2 7.48 2.74 89.77
      本文方法 4.99 0.00 95.01

      图 10为本文使用的卷积循环神经网络模型中CNN权值参数的可视化结果, 其中卷积核按照方差从大到小排列, 且每个卷积核均被归一化到$ [0, 1] $区间.图 10 (a)为$ L_ {\rm conv}^{1} $层$ (10\times11\times11\times64) $卷积核$ W^1 $的第一个通道(共10个通道).在这些卷积核中, 部分核呈现出类似噪声分布的状态, 主要是由于相机本身的噪声以及生产现场的水雾在空间与时间上呈现出无规律的变化; 另一部分核呈现出较为规律的模式, 类似人为定义的特征提取算子, 例如边缘提取算子点提取算子和纹理提取算子.这些卷积核通过将分布在不同空间位置的图像信息聚合为一个整体输入到LSTM网络中, 并通过参数训练来调整每个空间位置对最终输出结果的影响, 从而将异常工况在炉壳的空间分布信息利用起来, 使之在最终的工况诊断中发挥作用.

      图  10  卷积神经网络的核函数可视化

      Figure 10.  Visualization of kernels in the trained CNN

      由于本文使用的CNN模型采用多帧残差图像作为输入, 网络也起到一部分时序特征提取作用, 则卷积核$ W^1 $的通道可以理解为卷积核随时间的分布.图 10 (b)展示了$ L_ {\rm conv}^1 $层第3个卷积核(即图 10 (a)中实线框标记出的卷积核)随输入通道(即时间维度)的变化结果, 可以看到卷积核随时序呈现较为缓慢的变化.但仅从10帧图像无法判断该特征是由故障工况引起还是由大范围水雾干扰引起.因此仅采用10帧图像作为CNN的输入无法提取足够的时序信息来判断故障工况的发生, 而利用更多的时序图像来将图像随时间的变化建立到CNN中代价较高[24] (例如, 将30帧图像序列建立到模型中则需要第一层核函数为30层), 这对网络收敛速度和后续的诊断速度都会产生较大的影响.由于循环神经网络有着出色的时序记忆特性, 可以充分提取出序列图像随时间的变化关系, 因此本文对电熔镁炉异常工况的时序特征提取主要通过循环神经网络来实现.

    • 本文结合生产现场的实际视频信息, 提出了一种基于卷积循环神经网络的异常工况诊断方法.通过图像序列灰度一致性变换和时序残差预处理, 排除了生产现场环境光变化以及不同电熔镁炉炉壳固有视觉特征的变化带来的干扰, 提高了诊断精度.在此基础上, 使用工况的视频信号, 从空间和时间两个维度提取电熔镁炉异常工况局部缓变的时空特征, 并诊断异常工况, 相比其他方法具有更高的诊断精度.

      本文提出的卷积循环神经网络可推广于其他具有强时空特征的其他工业过程的工况诊断, 以及难以利用电流电压等易受到强干扰的一维数据进行工况诊断的工业过程; 所提出的基于加权中值滤波方法可推广应用于工况标记困难的其他工业过程.

      结合现有视频语义预测方法[25]以及基于过程数据故障趋势预测方法[26], 下一步将在本文提出的卷积循环神经网络框架基础上, 开展基于视频信号的故障趋势预测研究工作.

参考文献 (26)

目录

    /

    返回文章
    返回