互联网下的平台趋势


 2015-04-14 11:51:34       765

摘要:未来的软件平台的三大趋势是行业应用、移动平台和数据平台。

如今的数据已经发生了非常大的变化,有了非常多的非结构化,呈现出多元、流动、复杂、海量等特征。面对这样的数据,我们需要数据平台新一代的能力。首先,数据平台需要这种对多元数据的大规模的数据集成的能力,我们还需要对流数据能实时的做处理,实时的做分析。我们也需要对整个复杂数据环境之中,做全面的管控。最后,还需要对海量数据的分析和挖掘的能力。

通过这些年的信息化,客户已经将软件平台当作自己的基础的设施。在互联网环境下,又遇到了很多新挑战。未来的软件平台的三大趋势是行业应用、移动平台和数据平台。

相对于以往而言,如今的数据已经发生了非常大的变化,有了非常多的非结构化,呈现出多元、流动、复杂、海量等特征。面对这样的数据,我们需要数据平台新一代的能力。首先,数据平台需要这种对多元数据的大规模的数据集成的能力,我们还需要对流数据能实时的做处理,实时的做分析。我们也需要对整个复杂数据环境之中,做全面的管控。最后,还需要对海量数据的分析和挖掘的能力。

腾云驾雾

移动平台是未来所有应用的前端,需要云平台和数据平台的支撑。未来,云计算其实是要成为企业利润的核心,要进入一个腾云驾雾的阶段。在这个阶段,有四个比较显著的特征。

第一,业务移动化。我听说有的公司现在已经把未来的方向定位为,所有的应用系统都需要在移动端展现,让客户,让他们的业务人员拿着移动设备去跟客户洽谈。

第二方面渠道多样化。企业自己的服务要公开给其他的企业,我们自己的企业也需要做这种企业间的服务的集成。

第三点,能力服务化。企业需要把自己能力公开出去,给社会去使用,通过公开的能力来获得价值。

最后一个方面是参与社会化,我们企业有了大量的信息系统,我们有了很多的API,我们要把API开放出去形成一个第三方的,对第三方友好的这样一个开放平台。通过第三方的开发,得出更多的对消费者友好的应用,然后从中获取一部分利润。

云中的服务,要全部采用异步化的方式。未来的异步化是全面的异步化,包括每个服务。同时,我们不能认为数据库永远是可靠的,应用和数据连接之间也要异步化。这时,要设计一种新的模式,在客户端和应用之间,应用和数据库之间,完全用异步化来表示。现在的异步消息是由平台创建统一的,交给各个应用使用。每个应用在做每一次服务时,需要在异步消息实施中申请一个消息队列,完成异步化。这样,对异步交易池进行全局管控,提高其可靠性。

让移动变得靠谱

如今,移动应用的普及率越来越高,但问题也层出不穷。我们需要一种新的方式,让移动应用也变得靠谱。这时,我们需要在移动应用的本地端形成一个消息池,在每次移动应用请求时,将它的请求内容转化、发布到消息池中。让消息池去判断什么时候应该发送。当然,在应用端,也需要一个消息池同步来接收移动消息池发布的内容。

网络环境复杂多变。首先要用多思路的协议,保证消息的正确性。其次,在消息不同的网络环境下,要对消息进行不同的转换。这些手段其实还不够。在移动端,也需要发布订阅的方式,与个人端相比,企业端发布订阅的不同是在安全上,不能允许一条消息有欺诈性质,也不能允许广播的消息发到错误的客户端中。这样,我们需要有一个强大的后端。

在后端,对于每一次广播的发送需要做多层安全机制。在这里,我们设计了一种针对多层安全机制的发送方式:我们会在每次服务里,用这种插线的方式插入多个安全机制。例如,一条消息广播给在场中的五个人。我需要去看,第一层我要看这个订阅的人,是不是欺诈我。其次要看这个人到底是不是我想要发送信息的对象。。第三层,消息本身是否有一些问题的数据要处理。通过多层的安全技术,保证广播的可靠性。这样,移动就变得靠谱了。

全面监控

我们总是在不确定的世界里,找一些确定的答案。现在也是,在这样一个充满不确定的环境中,怎样让它变得更靠谱?我们要在这种环境中,快速发现不靠谱的因素,这就是我们需要的全面监控。

在监控上,应用形态发生了很大的变化,每个应用之间有联系。应用的后端并不是服务器,有可能是云平台、数据平台。在数据平台后端,可能有数以万计的虚拟机、实体机。这时,我们就需要一种新的监控的方式,数据的采集会变得很重要。

现在的监控需要的是一个新视角的监控,要将应用和后端的接触设施、平台绑在一起。这时,监控的前端,我们看到的都是应用。进去以后,我们看应用承载的设备、平台、服务。同时,在这个采集群里,需要实时的流数据处理技术。我们实时的发现当一块磁盘坏了之后,到底会影响到哪个服务,这个服务,会影响到哪个应用,甚至可以知道,这个应用现在被哪些使用者使用。通过这些技术手段,让云慢慢变得靠谱,也让大家能在云中,更多去销售云的好处。

 在未来,数据集成不是针对传统的数据库文件的集成,而是针对大规模采集器的集成。采集器分两种,一种是多媒体采集器,一种是数值型采集器。这两种采集器,都需要对它采集的数据做分析处理后,提取关键信息,进行数据集成。这与我们现在的数据有什么不同?传感器具有非常强的时空统一性,每一个采样都会有时间、空间、内容。后面大规模加载时,还有一个显然的特征,就是并行加载。在这种环境之中,采集器是不可靠的,所以需要统一的监控的机制。我们设计了三层的监控机制,在采集时、加载时、真正传输到数据平台时,都要进行大规模的监控和控制,最后形成一个针对大规模加载的统一监控调度平台。

流数据处理的商业价值

在海量数据之中,实时流数据处理,将是未来云计算大数据平台之中,一个非常关键的技术点。

什么是实时的流数据处理?是在事中发现问题的数据。假设,某活跃在一线城市的用户信用卡在中原的某个县城被刷爆。当信用卡在县城被刷爆的同时,流数据处理会根据用户的历史记录和当时情况,马上通知到用户,即刻中断交易,将危险控制在事中。这对所有的业务,都有非常大的意义。

实施流数据处理其实是一个比较复杂的领域,通俗来讲,数据通过时是流动的,我们就像在水中放了一个筛子,把我们想要的东西筛住。把这些筛住的东西存起来。我们需要在这个筛子中分析出哪些是常用的热数据,哪些是冷数据。

在进行分析时。做冷、热数据的转换,将冷数据抽到内存中,快速分析问题所在。也许有人问,在海量环境中,数据质量还可靠吗?原来的数据处理手段能满足现在的要求吗?原来我们的数据治理,其实是集中在传统数据的领域。只会对关型数据库、EPR的过程,一些数据仓库,报表数做分析治理,我们不会去对整体的环境做治理。如今,我们需要一个全面的治理。

首先要知道所有的数据结构、数据流向,这就提到了原数据。原数据要从各个里面采集相关的数据结构。另外,数据标准也需要扩展,要形成采样的数据标准、流处理的数据标准,最后以原数据和数据标准,提供质量选择的内容。流数据质量选择的扩展数据选择,使其能在非限化存储中进行检查,去流数据中做检查,最后形成完善的、全面、海量数据的治理环境。

相关阅读: