Primeton BigData Platform大数据应用

大数据时代到来海量、非结构化数据如何管理与应用?

传统类数据

全国各业务系统中的数据集合
生产系统中的非结构化数据,例如合同扫描件等

物联网数据

监控视音频数据
传感数据等网页内容
全球定位系统、激光扫描器、气体感应器等信息传感设备
实现智能化识别、定位、跟踪、监控数据

互联网数据

日志内容
互联网视音频
博客、微博、论坛数据
邮件
广告数据
客户行为轨迹等

其他类数据

IDC数据等

政策趋势国务院颁布大数据发展纲要

《大数据发展纲要》是我国发布的首个大数据国家行动计划,旨在全面推进我国大数据发展和应用,加快建设数据强国。该计划提出从政府大数据、大数据产业、大数据安全保障体系三个方面着手推进大数据领域的十大工程。
2020年底前,逐步实现信用、交通、医疗、卫生、就业、社保、地理、文化、教育、科技、资源、农业、环境、安监、金融、质量、统计、气象、海洋、企业登记监管等民生保障服务相关领域的政府数据集向社会开放推动信用信息共享机制和信用信息系统建设。鼓励互联网企业运用大数据技术建立市场化的第三方信用信息共享平台,建设企业信用信息公示系统,初步建成社会信用体系。

企业如何应对?传统数据仓库存在的局限性

数据仓库加工链路复杂,现有IT架构支撑对于新需求响应周期过长,往往不能满足业务快速变化的需求,并且没有对实时决策需求作出响应的能力
业务人员所需报表都需要IT支撑与开发,由于计算能力限制,无法自助,实时的生成业务报表。
现阶段物联网传感器、数据定位、跟踪等大量非结构化数据无法进入现有数据仓库
数仓以满足现阶段业务需求为导向,为缓解存储压力,在数据抽取和清洗阶段会过滤掉与现有业务无关的数据,而数据挖掘需要大量细节化数据作为分析数据源

拿来主义?为什么不能照搬互联网的建设模式?

企业与互联网建设完全不同,从管理、推广、业务种类各方面均无法复制。互联网多以新兴事物与消费者行为分析为导向,而传统则涉及人、物、事等领域更广。

知识结构差异

企业:由于传统企业的业务模式相对复杂,大部分的技术人员熟悉业务,业务人员也不懂技术,需要技术与业务部门之间相互配合。
互联网:互联网的业务相对简单,大部分人员既懂业务也懂技术,多是综合型人才。

IT技术架构差异

企业:IT系统建设多采用主流而成熟的技术架构,稳步推进技术革新。
互联网:多采用创新型,前沿技术架构,更新迭代速度极快。

管理模式与服务模式差异

企业:部门众多,研发、市场、渠道、财务、售后都并重,组织架构层级深。并且IT系统实施有大批的系统集成商支撑。
互联网:内部业务环节简单,层级扁平化,可能就是两层,大领导有精力直接插手产品细节。系统建设多是自身的IT核心人员完成。