数据开放平台面向数据的开放和运营

数据开放平台聚合各个业务系统的数据,并在进行综合性分析及处理的基础上,有选择地提供给第三方应用使用,实现数据层面的开放,支持基于数据的运营。

下载普元广电互联网开放平台白皮书
开放平台白皮书

面向多渠道的数据整合

来自不同业务系统的数据以实时或非实时的形式汇总到数据开放平台。例如:来自内容聚合管理的内容数据、来自CDN的流量状态数据、来自BOSS系统的用户数据、来自终端管理的用户行为数据、来自运维系统的系统状态数据等。这些数据构成了大数据平台进行综合性业务分析的基础。

图形化的ETL数据集成模型以及持续的组件积累

通过模型设计器或者作业自动化生成工具实现ETL数据处理模型,支持与各类数据库、半结构化、非结构化数据的集成。此外,数据处理组件的开发和复用,有效地保证了数据资产的积累,支持数据集成的持续演进,降低开发成本。

白皮书

强大的ETL作业调度以及管控能力

在作业调度机制的驱动下,ETL作业以增量或全量的方式实现不同渠道数据的集成。同时,运维人员可以方便、全面地了解数据处理模型的运行情况,有助于迅速地发现和定位问题,及时采取措施排除故障,保障数据集成的稳定可靠运行。

面向数据流的高可用大数据实时处理

基于流式计算技术实现高性能的实时数据处理,并基于Esper内存计算引擎支持复杂的处理逻辑,因此可用于复杂条件下且实时性要求较高的数据分析。例如基于一系列故障事件分析故障点、基于用户的一系列终端操作行为预测用户下一步可能的操作,以及根据流量变化状态分析流量分布趋势等。

高性能及高可用

采用SEDA等业界公认的先进架构,使平台在承受海量访问以及发生瞬时浪涌等极端情况下仍能保持稳定及高性能。
通过设置服务级的运行期参数(线程池、连接数等),合理调配系统资源的分布,使系统资源得到合理利用,保障对重点业务的稳定支持。
基于集群部署方案,保障服务能力的高可用和动态伸缩。

数据治理驱动数据质量的持续提升

基于元数据管理、数据标准、数据质量管理,通过不断的数据检核,发现问题、解决问题,从而持续地提升数据质量。

自动化的元数据采集和管理

通过各类采集适配器,从数据库、存储过程、Excel模板、ERWin、Perl日志、Hadoop Hive等数据源自动化地采集元数据信息,并经过统一的分析转换,形成全局的数据地图。
血统分析使管理者有效掌握数据在业务系统间流动变化的来源和目的;而影响分析则帮助管理者准确地追踪数据变化在全局范围内的影响。

统一数据标准

数据标准统一规定了各项业务数据的名称、含义、规格及使用方式。一系列数据标准不仅规范了元数据的设计,也为数据质量检核提供了基础。

有效的数据质量管理

基于统一的数据标准,建立数据质量的评价体系,进而通过持续的自动化的数据质量检核,生成数据质量报告。
数据质量检核有助于发现各类数据质量问题,为数据质量的改进提供参考依据,并验证改进效果,从而促进数据质量的不断提升。

建立质量评价体系

建立考核指标,量化数据质量的整体情况,找出数据质量的薄弱环节。

丰富的数据展现

基于灵活的数据查询,生成各种复杂格式的报表。支持不规则报表、不平衡报表、不对称报表、汇总报表、清单报表等各种格式的报表,并支持Excel模板。通过零编程、可配置的方式实现丰富的数据展示形式,包括以Flash动态效果展现。
支持移动设备上的展现,包括iPad、iPhone、iPod Touch、Android等主流的移动设备。

白皮书

白皮书

白皮书

基于数据发布的数据开放与运营

数据发布通过数据查询服务、数据交换、文件传输、消息通知等形式,有选择地将数据提供给第三方应用使用,实现数据层面的合作共赢。例如,应用可以根据数据开放平台提供的用户画像数据,为用户提供更具个性化的服务,提升用户体验,创造商业价值。

支持多种数据提供方式

第三方应用可以以多种方式从数据开放平台获得所关心的数据:
对于实时性要求较高的数据,如用户状态信息等,可以通过数据查询服务获得,或者以消息通知的方式推送。
对于实时性要求不高的数据,如时常发生变化的内容元数据,可基于ETL机制以增量的方式定时更新到应用系统。
对于数据量较大的数据,如每日的对账数据,可基于文件传输机制提供。

可靠的数据安全保障

无论哪种数据提供方式,都不可避免地涉及数据安全问题。数据开放平台从多个维度保障数据安全:
对数据的使用进行分级授权,哪些应用可以获得哪些数据,由数据开放平台统一管理,并在应用调用数据服务、执行ETL作业,以及下载数据文件时进行认证。
对数据进行加密,防止信息泄露。
对数据进行签名,防止信息被篡改。
对数据进行脱敏处理,如将用户的住址、身份证号、手机号等隐私信息隐藏或部分隐藏。

基于开放数据的运营

数据服务可以打包为产品提供给第三方应用使用,支持基于开放数据的运营。
应用可以购买数据服务产品,并以查询服务、消息通知、ETL、文件下载等形式获得数据,数据开放平台则从数据的类型、查询次数、交换记录数、字节流量等维度进行计量,并为应用提供不同等级的服务。

我是普元顾问,欢迎与我在线交流。