几乎每个行业都会产生大量的数据,且随着时间呈快速增长趋势。 数据也不例外,近年来,高通量分析成为 分析方法的大趋势,从而产生了相较于以前几倍甚至几十倍的数据,但大量的数据并非就是所谓的大数据。
成熟的高通量分析与互联网技术的融合,已经成为 数字化的趋势。研究机构、药品生产企业以及小型 之间越来越多的合作都使数据量大幅增加。不断增长的数据量不仅对 的IT系统提出了挑战,也给数据的处理分析提供了更多新的可能性,同时与此有关的价值增值过程,都可以归到大数据这一概念中去。
图1 所有成本较低的移动设备研发,如平板电脑和智能手机等,都有利于数字化系统的应用和推广。
大量的数据本身并非就是大数据,只有当这些数据能够按照一定的格式保存,能被有效的查询,进行综合分析后,可以获取某种新的相互关系,并从中得到更有用的信息时,这样的“大量数据”才能被称之为大数据。能够使人易于理解的大数据实际上都是从犹如乱麻般的数据中整理出来的。过去,虽然已经进行了测试,但得到的这些所谓的源数据却不能被有效的利用起来。现在,非常简单的大数据应用就能帮你节约大量的时间、金钱和资源。
把积累的大量数据变成大数据还有很多工作要做。许多 数据和信息都被存储在本地的数据库中,更多的是记录在纸张报告、记录表中,被分散在一个个文件夹中而很难用于大数据分析。
中大数据的应用
大数据的应用条件首先是要把 中所有的数据都保存在统一的数字化平台。这种平台允许对所有数据进行分类,而且有统一、结构化的数据采集过程,从而能够在过程层面对数据进行比较。为了能够处理越来越大的数据量,从长期发展来看,把用于分析和生产的仪器设备与IT系统直接连接起来是必不可少的,这样可以确保在任何时间都能连续跟踪数据,根据这些数据可以看出很多被隐藏的影响因素,对这些影响因素进行仔细分析后,可以搞清楚它们对过程的影响从而做出调整。
数据化 的挑战
多年来, 数据的数字化是 日常工作中一个严峻挑战。目前已经有许多不同类型的电子 记录(ELNs)和 信息管理系统(LIMS)可供使用,但不是所有的 都使用统一的系统管理数字化文件。某些移动输入设备,例如,平板电脑和智能手机的发展都有利于数字化系统的应用和推广。许多 都会使用数据格式完全不同的数据,例如,Word、Excel、PDF和图像格式的通用数据格式,也常常要用到一些特殊格式的数据。
图2 许多 都有使用不同格式数据的需求。
为了能够在更大范围内使用这些数据,根据数据产生的过程来管理组织数据很有必要。图像数据和其他格式的数据相互比较,无需把所有的图谱并排进行对比,只把具有可比性的谱图文件相互比较就可以了,要利用大数据首先要解决小数据的问题,但大多数 都存在的难题是小数据太多却难以关联。
在利用大数据的过程中,首先要制定标准,利用制定的标准可以把实验过程中的数据轻松的汇总到一起,进行整理分类,实现相互比较。但迄今为止还没有能够将跨学科 数据进行格式的统一。
仪器设备与IT系统的联网
实验设备和检测仪器都算是 的数据采集设备,它们可以记录、生成大量数据。这些数据常常都被保存在联网的计算机中,没有联网接口的话,可以保存在网络驱动器中。因不同工作组之间面临分散式的设备配置带来的问题,因此限制了数据畅通无阻的传输,即使使用U盘也很难自动把仪器的结果数据与 报告文档数据建立起一一对应的联系。
为了填补 仪器设备与IT系统间的空白,仪器设备制造商、 用品生产厂、科研机构和制药企业合作成立了一个名为“SiLA快速集成”的国际性组织,制定了 仪器设备控制的统一标准。这一标准的目的是不同生产厂家生产的设备有着统一的接口,即所谓的PMS过程管理系统接口。这一PMS过程管理系统接口可以通过网络服务器或者经互联网的安全连接来登录、访问。
这样以来,同一 的工作者就可以在不同的计算机上通过登录访问网络,登录的计算机可以是在同一大楼内的不同计算机,也可以是另一个地区的任一计算机,登录后可以任意访问一台仪器设备,进行过程参数的输入,同时接收设备数据。在自动化控制环境中,还可以对整个检测过程或文件录入过程进行远程遥控或监控。
SiLA 的自动化标准中有用以集成各仪器设备的不同途径。例如,通过与SiLA 自动化兼容的驱动器,它能把不符合标准规定的设备通讯纳入到网络服务器的管理之中。SiLA接口转换器能够为仪器操作提供一个兼容的平台,经网络服务器与过程管理系统建立通讯。在方案里,SILA兼容平台通过网络服务器把第三方与过程管理系统连接起来,有助于各种设备的兼容,并能把 中已经安装的仪器设备与 中的IT网系统连接起来。
数据设备连接标准的建立
很多成功的案例都表明可以实现 各仪器设备间的连接,然而,数字化试验记录、 管理系统LIMS之间的连接,但这种连接常常是复杂的,且成本高。在未来,或许 仪器设备可以实现即开即用的连接。把数字化实验记录集成到与 自动化标准SiLA兼容的过程管理系统中,正如弗劳恩霍夫研究所协会与Labfolder公司合作开发的方案那样,可以极大地简化大量 仪器设备的常规连接。
图3 弗劳恩霍夫制造工程和自动化研究所与Labfolder公司合作开发的解决方案。
下一个必要的方案就是制定统一的连接协议标准,有了标准才能将在仪器设备上检测的数据和填写的数字化实验记录之间建立起相互关联。这一标准的目的是建立一个基础平台,并能够最大限度地看清基础平台中保存的数据。当过去的数据自动地应用在新过程优化中时,集成、灵活的 在使用过程中变得易如反掌了,这才可以说是真正实现了大数据应用。
实验与分析
展源
何发
2023-06-21
2021-09-05
2020-05-26
2024-04-22
2024-04-02
2020-05-27
2020-05-27
2023-07-14
2020-05-27
2020-05-27
加载更多