最新大数据技术,看它如何实力碾压“数据接口”

如今,不论哪行哪业的信息人员,在朋友聚餐或商务会谈,提到“大数据”的频次就像“吃了吗?”、“今天天气不错” 一样平常。没错,你我已身处数据时代,但还未到达大数据时代,差的是将海量数据有序融合并应用的距离。
各行各业,包括政府部门的信息化建设都是封闭的,数据被封存在不同系统的数据库之中。该如何建立不同系统间数据互联互通的大数据平台呢?
软件接口和开放数据库,这两种方式是最常见、目前运用最广的方式。它们都有一个共同点——需要软件商开放接口。如果是三两个系统间的数据交互,协调工作不大,无伤大雅;但在大数据时代,需要交互的数据往往牵涉几十、上百个系统,如智慧城市、电子政务等,再去和一个个软件商协调接口,这就尴尬了:不仅接口费用高、协调工作量大,还时不时会出现几个原软件厂商倒闭或者联系不到人的情况,大数据平台项目由此被“搁浅”甚至“烂尾”,导致空有平台而无法实际运用。
那么,有没有一种方式不依靠原软件商的接口,就能实现异构数据融合呢?
有,它就是数据采集技术!常见的以采集网页数据的采集器偏多,但也不乏前沿技术,c/s端数据也能采集。
以博为软件的101异构数据采集技术为例:它通过获取软件系统的底层数据交换、软件客户端和数据库之间的网络流量包,基于底层io请求与网络分析等技术,采集目标软件产生的所有数据,将数据转换与重新结构化,输出到新的数据库,供软件系统调用,在不需要原软件商配合的情况下,成为万能接口,“一站式”完成异构数据融合。其技术特点如下:
1. 无需软件厂商接口,不需原厂商配合,直接采集异构软件数据;
2. 根据指定字段进行配置,采集数据,数据准确、全面、可靠;
3. 可进行实时数据采集,数据端到端的响应速度达秒级;
4. 兼容性强,应用广泛,可采集汇聚windows平台各种软件系统数据,b/s端、c/s端数据都可采集;
5. 自动建立数据间关联,输出结构化数据,作为数据挖掘、大数据分析应用的基础;
6. 所采集的数据,可以存储到指定数据库或者云平台,还可通过i/o仿真技术,将数据写入其他软件,达到数据迁移的效果;
7. 配置简单,实施周期短,根据数据量大小和数据库结构,少则几天,多则几个星期即可完成采集。
目前,博为101异构数据采集技术已经在医疗、政务、金融等领域广泛运用,成功解决多地人口健康信息平台、互联网医疗平台的数据接入难题;近期,博为更与国家工信部达成合作协议,进行工信部内部47个系统数据的融合(含信息产业运行监测平台数据资源中心系统、无线电发射设备核准受理系统、域名信息备案管理系统、中小企业信用担保代偿补偿资金管理等)。
在前大数据时代,需要融合的行业数据很多,如智慧城市、电子政务,牵涉到各类系统,需要跨地区、跨部门进行数据融合。相对数据接口方式而言,异构数据采集技术,更能满足大数据集成融合的需求,发展前景广阔。