《企业质量大数据的应用》.docx

企业质量大数据的应用 目前我国制造企业已逐步实现生产自动化，管理信息化，正在向着制造智能化迈进， 需要重视数据价值， 懂得数据使用。企业要从质量入手， 建立质量数据中心，以此进行全过 程质量数据分析，让企业从信息系统中使用数据，挖掘数据的价值。建立“互联网 +”的企 业大数据平台，是企业通往智能制造的必经之路。 在新的市场条件下，企业能否取得经济效益，能否在激烈的市场竞争中立于不败之地， 满足不同用户的需求， 提高产品质量是其中的关键所在。 为了有效的降低生产成本、 提高产 品质量，企业不但要在生产装备能力、生产工艺技术、生产过程控制等方面做大量工作，还 需要科学的建立一体化质量管理体系，从全局角度了解产品在所有生产过程中的质量情况。 将以前只关注结果转变为既关注结果也关注过程， 通过追溯生产过程来优化生产工艺， 从而 将质量管理形成闭环网络。钢铁生产是一个连续、高温、长流程、跨工序的生产过程，其产 品及中间产品的质量不仅取决于工序过程质量， 而且与前道甚至更前的工序有关， 因而在整 个生产过程中各工序原料质量情况、 过程操作参数的取值、设备运行状态、操作和检验人员 的经验及其工作状态直接决定了产品及中间产品的质量。 通过收集各工序影响产品质量的关 键参数，形成质量大数据，及时、准确掌握各工序在制品的质量情况， 将传统的结果型质量 管理模式变为事前预测的过程型质量管理模式。为此，构建企业的质量数据中心势在必行。 1质量数据中心 构建企业的质量数据中心，首先收集与质量相关的数据，其中包含来自于自动化系统 的生产过程数据、来自于表面检测系统的缺陷数据及部分缺陷图片、 来自于设备系统的设备 状态数据、来自于检化验系统的检验数据、来自于 ERP系统或MES系统的生产标准数据、 来自于销售系统或 ERP系统的质量异议数据、 来自于点检系统或人工的点检数据、 来自于各 个系统记录的操作数据等等。 这些数据之间的采集频次差别很多， 有毫秒级别的数据， 有每 天记录一次的数据，而且钢铁制造的工序长，从炼钢的板坯到热轧、冷轧，数据之间并不是 对应的关系，因此， 简单的把数据收集起来并不能建立数据中心， 要建立数据中心，必 须进行数据的重新组织。 1.1大数据的技术应用 在质量数据中心的建设中，使用业界流行的大数据技术一一 HADOOP技术进行海量明 细数据的存储，解决了以前数据存储速度慢、实时性低的特点。 采用大数据技术进行分析相比于传统的数据仓库应用， 具有数据量大、查询分析复杂等特点。 大数据的4个“V”，其特点有四个层面：第一数据体量巨大。从 TB级别跃升到PB级别； 第二数据类型繁多。第三处理速度快， 1秒定律，可从各种类型的数据中快速获得高价值信 息，这一点也和传统数据挖掘技术有着本质的不同。 第四只要合理利用数据并对其进行正确、 准确的分析，将会带来很高的价值回报。 大数据核心价值就是在于对于海量数据进行存储和 分析。 1.2数据采集 数据的采集是实现质量中心的关键。在生产过程中会产生大量的工艺数据，从对产品 质量有影响的数据入手， 利用各种技术实现机器之间的通信， 将海量数据通过网络及软件方 法自动传送到质量数据中心。数据采集的方式很多，以下几种采集方式可以作为参考： 1） 电文通讯：在源系统中对数据进行组织，通过 TCP/IP协议，将数据以电文方式发送给数 据中心。 2） 数据库通讯：对于专用的源系统的数据采集机，如果其用数据库存储数据，则采用数据 库方式通讯，在质量数据中心服务器上建立一个客户端， 连接主机的服务器，把数据采集过 来。 3）日志抓取：基于日志的结构化数据复制软件，通过解析源系统数据库在线日志获得数据 的增删变化，再将这些变化应用到质量数据中心服务器数据库， 实现源系统数据库的数据抽 取。日志抓取软件只读取数据库的日志， 不直接对数据库进行操作，所以对源系统的影响可 以降到最低。 1.3实时性 对于质量数据中心来说，数据的采集、计算都需要有一定的实时性。通过特定的技术 能保证数据采集和计算的实时性。 1.4数据组织 在质量中心中存有大量各工序、各机组的生产工艺数据，必须将前后工序的数据联系 起来，使工艺数据与实际产品在各个生产环节的工序一一对应， 才能最终实现质量分析诊断 的目的。 数据重新组织步骤。首先要建立钢铁生产跟踪的物料树，通过材料跟踪号勾联出生产 时各机组的卷号，包括板坯号、热轧卷号、冷轧相关的卷号、成品卷号、炉号及合同号等明 细；再由各卷号勾联相应子集库中满足条件的各类数据， 在此基础上，考虑钢卷的开卷、卷 取、方向情况、翻卷情况（因为涉及到表面检测的数据） ，形成能够跟踪整个生产流程的物 料树主线。 按照物料号，业务属性（温度、速度、设备、缺陷等） 、数据粒度（毫秒、秒、米）重 新组织数据，形成各