废钢分类中的计算机视觉算法应用探索

计算机视觉算法对废钢分类

数字技术正在改变工业的各个层面。作为特定数字技术的早期采用者，钢铁有机会引领所有重工业，以提高我们的可持续性和竞争力。本专栏是AIST成为钢铁数字化转型中心战略的一部分，通过提供各种平台来展示和传播钢铁制造特定的工业4.0知识，从大局概念到具体流程。

钢铁的再利用，被称为废钢的再循环，是一项既定的日常业务。它已经成为一个数十亿美元的国际贸易市场。完整的废钢供应链从收集点到分类和处理，包括物流和交付到工厂。对废钢的需求正在大幅增长，特别是对“清洁和优质废钢”的需求。因此，值得对这个问题进行更详细的研究。

废钢的循环使用和熔炼车间的处理冶炼，无论是电弧炉(EAF)(2021年，近29%的钢铁是使用电弧炉生产的)还是氧气转炉(BOF)车间，都是一项不统一的、要求很高的活动，有自己定制的标准操作程序(SOPs)。废钢管理对钢铁公司具有重要的战略意义，因为电炉操作中的废钢成本可以达到产品(板坯、钢坯)运营成本的70%左右，所以要给与特别注意：

•废钢供应链的控制和管理：

∘采购。

∘处理。

∘物流，包括循环经济方法的解决方案。

∘可持续性和可靠性。

•审查和优化所有权成本：

∘等级的具体价格。

∘废钢金属料收得率。

∘有关残余元素的限制。

在几何形状、尺寸、清洁度、金属化率、可用性和价格方面，有各种不同的钢料质量。图1和图2记录了废钢场的日常工作，解释了情况和挑战。

高质量钢材的生产对机械性能，特别是先进和关键应用的钢材对延伸率有严格的要求的。今天由长流程钢铁生产商主导，转炉工艺的典型废钢利用率在20%到25%之间。到目前为止，在高端薄板产品领域，应用基于废料的EAF技术的小型轧机概念尚未出现。考虑到现有技术能力改进的全球趋势和炼钢过程中的脱碳举措这两个主要主题作为主要驱动因素，钢铁再利用和废钢回收的重要性是显而易见的。众所周知，在包括废钢回收在内的应用工艺技术方面，“钢的纯度水平”面临着挑战。

为了提供上述先进钢种的解决方案，整理了以下信息和事实:在这方面集中了四大钢铁集团；主要应用市场是汽车，重点是成型性、表面质量和洁净度：

•无间隙原子超低碳钢。

•超级深拉性能。

•马口铁。

非晶粒取向，晶粒取向，包括一组为电动汽车应用而设计的新等级钢；最后提到的钢种等级在未来几年显示出巨大的市场潜力。

表1总结了这些钢种的分析参数，以供一般参考。

表1  选定钢种的分析范围

对于Ni、Mo、Cr和Sn等非特定需要元素的最大含量，还有附加的规范，包括上述元素总量限制的定义。

其成形能力和变形能力取决于碳、氮和残余元素含量，尤其是铜元素的含量水平。碳含量由采用RH-OB真空脱气技术的工艺技术决定，铜和其他不稳定元素含量主要受废钢质量和直接还原铁/热压铁等原始材料的处理影响，在一定程度上也受生铁的影响。这同样适用于氮含量对钢的影响，因为真空处理期间的去除氮的能力是有限的，并且取决于几个边界条件(主要是关于表面活性元素(S, O)的钢分析)。相比之下，作为一般信息，用于建筑目的的螺纹钢和线材质量可以承受更高的Cu含量(高达0.4%)和氮含量(150 ppm甚至更高)。

根据废钢来源的不同，废钢类型分为社会废放和返回废钢。这些类可以有不同的性质。返回废料通常含有较少的不需要的元素，因为它直接来自钢铁厂或制造厂。社会回收的废料(例如，用过的家用物品、拆除或粉碎的二手车)可能含有许多不需要的元素，甚至含有大块不需要的材料(例如，含有铜的电机部件)。

废钢通常用火车车皮运到钢铁厂。在卸料过程中，对废钢进行废钢类型、大小、形状的质量检查，检查废钢是否有不需要的物件。在大多数钢铁厂，废钢的分类都是人工分拣的，然后送到废钢料场，然后从废钢料场吊起装进废钢料篮，或者分类后直接装进废钢料篮。这种手工分拣废钢的过程需要训练有素的专家。

目前还没有针对废钢分类的国际标准，这使得废钢分类工作容易出错，还需要熟练的人员来处理特殊情况。这使得废钢分类任务更容易出错，也更耗时。在机器学习技术的帮助下，废钢分类过程可以实现自动化，以提高效率和准确性，并将职工解放出来，从事更关键的任务，减少人为错误。自动化废钢分类也使操作员远离危险的废钢料场环境，提高职工的安全。

在本文中，介绍了一种软件解决方案的开发，该解决方案采用机器学习算法对废钢图像进行分类。将含有废钢的铁路车厢内的图像作为训练模型的图像数据集。然后，训练后的模型自动识别正确的废钢料场的废钢类型类型。该方法分类废钢类型所需的推理时间短，可用于废钢的实时检测。

废钢分类的自动化可以看作是未来全自动化废钢场的必备手段石。目前在废钢料场还有其它的手工处理方法。利用图像对废钢进行分类，可以确定出运废钢的质量。在机器学习技术的帮助下，检测废钢中不需要的物料的过程也可以实现。接收到的废钢和分类结果被记录下来并形成文件，稍后可以对这些数据进行分析，以获得有用的信息并做出明智的业务决策。

文献综述

Wieczorek和Pilarczyk[2]开发了一种用于废钢自动分类的机器视觉系统。作者首先分析了电磁吊吸盘放置在废钢料篮上方的图像帧，并使用背景估计算法从图像中提取碎片。第二步是利用边缘检测、二值大目标分析、图像分割和测量等方法将废钢从周围背景中分离出来。对得到的图像进行分析，以提供废钢的密度来估计废钢的体积。此外，废钢的化学成分、结构、来源和颜色也被视为分类的特征。

Qin等人提出了一个进一步的分类模型，[3]其中实现了Faster基于区域的卷积神经网络(RCNN)算法来识别和评估废钢。输入数据包含五种不同类型的废钢，每种废钢都有80个图像，这些图像被手动标记为五类。作者选择了两阶段检测器Faster RCNN，它有13个卷积层，13个ReLu层，4个合并层和一个全连接层。废钢检测过程分为四个模块，分别是基于vgg16网络的特征提取、基于RPN网络的建议和损失计算、基于ROI合并化层的固定ROI合并以及基于全连通网络的帧回归和目标分类。

Smirnov和Trifonov在废钢分类任务中测试了各种卷积神经网络。作者使用了ResNet152V2、InceptionResNetV2、DenseNet201和NASNetLarge网络，这些网络已经在ImageNet数据集上进行了预训练。每个预训练的卷积神经网络(CNN)基本上分为两个部分：执行特征提取的卷积层和执行分类任务的全连接层。将边角料图像分为三个数据集:初级数据集、二值数据集和分组数据集。对于主数据集，NASNetLarge在9类分类中F1得分最高，而ResNet152V2和DenseNet201在4类分类中F1得分最高。NASNetLarge、ResNet152V2和InceptionResNetV2在组数据集中的四类分类中表现同样良好。二值分类并没有改善结果，但分组方法有改善效果。

Gao等人开发了一个系统，[5]利用机器学习技术检测废钢中的铜杂质。一组数码相机被放置在一条移动的传送带上，用于拍摄单个碎钢片的照片。图像被发送到一台控制计算机，该计算机根据设计的程序对每张照片进行分析，并发送信号以机械方式从系统中排出铜杂质。图像是在实验室里收集的。在黑色背景上点击一块碎片，并标记为“Fe”。含有铜的部件，如电机、铜线等，被标记为“Cu”。作者使用了两个CNN架构，VGGnet和Xception，其中的特征是原始的RGB图像，提取了形状特征的图像(边缘检测)，原始图像被裁剪以减少背景(作者认为，这可能会在数据中引入噪声)。在异常和裁剪后的照片中，识别精度为“Cu”:90.6%，“Fe”:77.8%。

Tu等人[6]提出的框架结构也试图对废钢及其等级进行分类。该框架有三个主要组成部分：车辆注意模块(CaM)、废钢检测模块(SDM)和废钢分级模块(SGM)。CaM从粗钢废钢图像中分割车厢区域。该模块使用7个卷积层和5个合并层来获得特征映射。此外，它还具有跳过结构，可以抑制复杂的背景区域，仅聚焦于车厢区域以进行进一步处理。SDM具有ResNet骨干网和多尺度特征聚焦塔型结构(MFFP)，用于对CaM获得的图像中的废钢进行分割和分类。最后，SGM利用贝叶斯公式的一种变体作为分类算法，确定废钢品级。它是基于统计信息，如比例和出现的废废钢类型。

具体的废钢规格由政府组织和协会在每个地区制定，如废钢回收工业协会(ISRI)或欧洲回收工业联合会(EURIC)。这些机构制定了废钢采购和贸易的指导方针，这些指导方针是钢铁公司或下属服务中心制定企业专用废钢采购手册的基础。它们涵盖了一般商业条款和运输条件，然后就是废钢的规格尺寸，几何形状和可容忍残余元素和杂质的分析要求。

表2总结了根据EURIC在可容忍的残余元素含量水平上的不同的常见废钢等级。根据规定的废钢品位，最大容忍铜含量可达0.5%。

表2  根据欧洲废钢规范对废钢分析的目标限制 [7]

对于扁平材生产商来说，限制锡的含量也很重要，尽管从铜的角度来看，马口铁确实有很好的回收潜力，但它在加料混合物中的最大体积量是需要限制的。

具体的企业废钢采购准则通常更为严格。例如，美国钢板生产商将铜的最高含量限制在0.2%。因此，实施了一种策略，即在钢板作业中利用钢铁生产中产生的废钢，而含有较高杂质水平的社会废钢则用于螺纹钢和线材生产。

在审查熔炼车间操作和废钢成分均匀性的一致性时，Kirmse等人详细阐述了废钢中典型的不稳定元素限制没有达到。通过对质量平衡进行重新计算，可以观察到超出和低于预测水平的时间序列。这些结果限制了废钢管理中的成本最小化方法，或者至少反映了在这方面缺少分析规范而造成一定的残余元素超标的风险。

Hornby讨论了对废钢利用的全面审查，重点是总拥有成本(TCO)方法。[9]详细说明了低成本废钢并不直接导致低成本钢铁；更重要的是，金属化率和收得率需要纳入整体TCO方法。波动的原材料价格需要动态调整收费组合。

方法

本节详细介绍废钢料场拟议的废钢分类方法。首先，对数据集进行描述，然后使用深度学习算法进行分类。最后，提出了一个完整的管道系统，从获取图像在废钢堆场，结果如何显示给废钢料场操作员通过一个网络应用程序的屏幕上。讨论了训练深度学习模型的最佳实践。废钢分类应用也可以集成到废钢管理系统中。完善的废钢管理系统的主要功能是收集废钢料场的工艺和材料相关信息。该工具配备了创新的人工智能方法和数学模型，以评估跟踪信息，从而大大提高了每吨废钢的整体使用效率。

I. 数据集

确定了两种由操作员手动进行废钢分类的情况：

i. 铁路货车上即将到来的废钢。确定了14种不同类型的废钢，数据集是在连续四个月的时间内组成的。由于需要选择和手动注释的图片总数约为90,000张，因此将每种废钢类型的100-250张图像定义为目标。采集图像的实际分布如图3所示。不平衡的数字是因为一些废钢类型比其他的更常见。这个数据集也被称为俯视图图像。

图  用铁路货车运送废料的图像和废钢种类的分布

ii. 废钢料篮。识别出七个不同的类别，并如上所述组成数据集。废钢类型分布如图4所示。这个数据集也被称为侧视图图像。

图  图像的废钢被装入料篮和分配废钢类型

II. 使用的机器学习算法

在过去的几年里，研究人员已经投入了大量的精力来提出更快、更准确的目标检测算法。到目前为止，基于CNN的算法在解决目标检测问题方面优于其他方法。CNN可以在多维数据上高效地发现模式。科学界已经提出了几种基于CNN的算法。基于区域提议的算法，即R-CNN及其变体，为目标检测提供了较高的准确性。该算法生成潜在的边界框;使用支持向量机(SVM)对每个边界框进行评分，并使用神经网络进行特征提取。这种特征提取和多级复杂管道的使用使得这些算法非常耗时。另一方面，使用YOLOv5 (You Only Look Once)算法，训练和推理速度可以在精度上有一个小的权衡。它只使用一个CNN，一次扫描整个图像。它预测物体的位置以及同时在每个位置找到正确物体的概率。这种统一的方法使得YOLOv5算法在目标检测方面速度非常快。[11]因此，我们选择YOLOv5算法作为废钢分类的深度学习算法。

利用废钢料场图像对废钢进行分类是一个有监督的机器学习问题。废钢料场图像需要标记以训练YOLOv5算法。每个图像文件都应该附带一个文件，其中包含图像中对象的位置和名称。这种手动标记图像中对象的过程称为图像标注。图像标注是关键步骤之一，因为它设定了废钢的标准。这有助于模型提供较高的准确性。如果注释没有紧密地打包料要检测的对象，预测将受到负面影响。

由于工作环境的原因，在废钢料场拍摄的图像通常质量较差。灰尘、光照条件和相机产生的噪声等几个因素都会降低图像质量。如果在用于训练之前对图像进行预处理，则机器学习模型可以在准确性和计算时间方面提供最佳结果。

像YOLOv5这样的深度学习算法有大量的参数。具有大量参数的复杂算法需要庞大的训练数据集来训练模型。[12]废钢料场收到的废料种类在数量上差别很大。这使得训练数据集不平衡。一些废料类型可能没有足够的图像用于训练。有限的训练样本或倾斜的数据集会导致算法的过拟合。[13]

为了克服这个问题，使用一种称为图像增强的技术从现有图像创建了多个变体，如图5所示。增强提供了几个优点，以便可以创建所需数量的样本图像，从而避免机器学习模型的过拟合。所应用的增强类型的选择应使所得到的图像可以预期在废钢料场中看到。在这个项目中使用的变换是几何(水平翻转，垂直翻转)，色彩空间(亮度和对比度，hsv移位)和模糊变换(高斯模糊和运动模糊)。新生成的图像被自动标注。

图  原始图像(左)的增强图像(右)

模型集合：

不同训练模型的集合在对抗单个模型的偏差方面特别有帮助。因此，通过投票策略将一组模型(3/5)的结果组合起来。结果表明，整体模型的性能优于单一模型。请参阅结果部分，以查看其准确性的比较。

III. 培训系统(自动模型性能监测)

废钢分类系统可以适应不同的过程环境，通过训练一个模型，专门为每一个环境。这是必要的，因为废钢分类的每个过程环境都是根据废钢及其背景场景、照明条件、灰尘和背景噪音而变化的。必须确定进行分类的环境，并与高分辨率摄像系统相连接。获取的图像将被发送到客户数据库，从那里它们可以发送到具有相关元数据(唯一图像ID)的检测引擎。检测引擎将把分类输出(预测的废钢类别和预测的置信度)发送到废钢料场操作员可以访问的用户界面。结果也将存储在数据库中，以保持可视化文档。架构的示意图可以在图6中看到。

图  废钢分类系统的体系结构

深度学习系统的优势在于，它们会随着训练数据的增多而变得更好。为了维护一个即使在复杂情况下也能表现良好的健壮系统，部署的模型将定期使用最新的图像进行重新训练。除了预测的废钢类别外，该模型还给出了一个置信度，以表明它对其预测的置信度。客户将被要求通过网络用户界面提供对低信心的图像的反馈。分类后的图像将显示给客户，客户被要求将分类标记为正确或错误。如果不正确，将要求用户输入正确的类。这些反馈图像将用于下次训练模型。

结果

为了获得最佳的废钢分类效果，进行了多次试验。超参数调优和向数据集中添加~2%的背景图像是改善结果的重要步骤。背景图像包括来自废钢料场的任何不包含目标废钢类型的图像。如方法部分所述，训练图像数量不足的类的度量也通过图像增强得到改善。最佳模型(模型I)的结果如表3所示。

表3  顶视图图像的废钢检测测试指标

从图7可以看出，有些类的准确率高于其他类。这种区别是因为一些废钢类型在外观上是同质的，例如，弯曲，而另一些则是异质的，彼此混淆。混淆矩阵证实了这一点，例如，混合废料类主要与HMS混淆，汽车零件也是如此。为了解决这个问题，使用了一个模型集合。这个集合结合了来自五个不同训练模型的预测类，这些预测类按置信度加权。从表3和图7中的混淆矩阵可以看出，使用集成(模型II)可以改善异构类的结果。

图  测试集顶视图图像的混淆矩阵：模型I的矩阵(左)和模型II的矩阵(模型集合)(右)

表3所示的结果是在285张图像的小测试集上进行的，该测试集用于选择最佳模型。为了更好地了解模型在废钢料场中的表现，我们随机从每个月选择100张图像，并手动对其进行注释，组成了一个由700张图像组成的测试集。

图8显示了7个月时间内该集合的分类率(=正确检测次数/标签总数)。灰色虚线之间的四个月是拍摄训练图像的时间段(训练数据和测试数据之间没有任何重叠)。在此期间，分类率较高，这意味着需要持续的定期培训，因为废钢可能随着时间的推移而不同，如果是来自不同的供应商。

图  测试数据的每个废钢类型的分类率(地面真实值)

EAF料篮加料的分类结果及实例见表4。由于侧视图数据集只有7个废钢类型，单个模型的性能已经足够好了。如果将来添加更多的类，也可以将集成用于侧视图图像数据集。

表4  边视图图像的废料检测测试指标

图9显示了该分类器的一些输出示例。标签和置信水平可以存储在数据库中，而输出的注释图像可以在屏幕上显示给操作员。

图 在两种情况下，废钢分类器使用类别标签和置信度检测废钢的示例：俯视图图像(左)和侧视图图像(右)

结论

考虑到由于环保降碳努力而增加的基于废钢的电炉钢产量的市场趋势，对废钢分析的精确知识的必要性对于生产先进钢种至关重要。提出了一种基于计算机视觉的废钢分类系统。测试了最先进的目标检测算法来构建分类器。与单一模型相比，应用模型集成技术改善了更多异构类的结果。由于YoloV5以其速度而闻名，该模型适合部署在生产中，并且可以以图片，视频和流的形式摄取数据。提出了一个整体系统，其中持续的反馈和训练将随着时间的推移提高模型的性能。此外，该系统可以在废钢料场的多个场景中部署。未来的工作包括与废钢料场密切合作，并将更多的类纳入EAF桶的充电方案，因为这可以帮助操作员跟踪指定的配方。下一步还包括在废钢料场检测外来/不需要的物体。

参考文献

1. “2022 World Steel in Figures,” World SteelAssociation, 2022.

2. T. Wieczorek and M. Pilarczyk, “Classificationof Steel Scrap in the EAF Process Using Image Analysis Methods,” Archives ofMetallurgy and Materials, Vol. 53, 2008, pp. 613–618.

3. Y. Qin, W. Chen, P. Zhang, S. Zhang, S. Chen andL. Huang, “Research on Scrap Steel Evaluation Technology Based on Faster-RCNN,”2nd International Conference on Machine Learning and Computer Application,Shenyang, China, 2021.

4. N.V. Smirnov and A.S. Trifonov, “Deep LearningMethods for Solving Scrap Metal Classification Task,” 2021 InternationalRussian Automation Conference, Sochi, Russian Federation, 2021.

5. Z. Gao, S. Sridhar, E. Spiller and P. Taylor,“Applying Improved Optical Recognition With Machine Learning on Sorting CuImpurities in Steel Scrap,” Journal of Sustainable Metallurgy, Vol. 6, 2020,pp. 785–795.

6. Q. Tu, D. Li, Q. Xie, L. Dai and J. Wang,“Automated Scrap Steel Grading via a Hierarchical Learning-Based Framework,”IEEE Transactions on Instrumentation and Measurement, Vol. 71, 2022, pp. 1–13.

7. “European Steel Scrap Specification,”https://www.euric-aisbl.eu/facts-figures/standards-specifications, accessed 24February 2023.

8. C. Kirmse, S. Bangel and M. Christ,“Probabilistic EAF Charge-Mix Optimization Using Machine Learning Based ScrapCharacterization,” SteelSim Conference Proceedings, 2021.

9. S. Hornby, “Mini-Mill Burdening for MaximumEfficiency and Yield?” Iron & Steel Technology, Vol. 12, No. 1, 2015,pp.50–62.

10. R. Girshick, “Fast R-CNN,” arXiv, 2015.

11. J. Redmon, S. Divvala, R. Girshick and A.Farhadi, “You Only Look Once: Unified, Real-Time Object Detection,” arXiv,2015.

12. X. Zhu, C. Vondrick, C.C. Fowlkes and D.Ramanan, “Do We Need More Training Data?” International Journal of ComputerVision, Vol. 119, No. 1, 2015, pp. 76–92.

13. D.M. Hawkins, “The Problem of Overfitting,” J.Chem. Inf. Comput. Sci., Vol. 44, 2004, pp. 1–12.

作者

A. Dhami：SMS digital GmbH, Düsseldorf, Germany

C. Vaghela：SMS digital GmbH, Düsseldorf, Germany

A. Asaro：SMS digital GmbH, Düsseldorf, Germany

D. Yuan

G. Pravisani：SMS group S.p.A., Tarcento, Italy

J. Kempken：SMS group GmbH, Düsseldorf, Germany

C. Kirmse：Senior Data Scientist, SMS digital GmbH,Düsseldorf, Germany [e-mail]

唐杰民2024年元月中旬在安徽黄山屯溪翻译自某国《钢铁技术》本月期刊。水平有限，翻译不准确指出请各位看官给予指正，镭目公司在废钢自动化检测上走在前列，这是我国骄傲的技术，相信会在祖国大地全面使用，也会走向世界的。

审核编辑：黄飞