OLAP交互分析
本节内容:
介绍
为提升Easy BI的数据可视化和OLAP多维分析能力,现提供以JD_OLAP数据库为基础的数据模型创建、管理和应用的能力(底层为经过二次开发的Apache Doris),充分发挥其对于PB级及以下的数据的统计分析能力,针对海量数据的存储和查询而设计,支持维度指标的灵活拖拽和图表展示,具有上卷下钻、自由筛选、维度切换等功能。
用户可以根据需求自行创建JD_OLAP数据模型,并支持创建分区(Partition)、分桶(Bucket)、Rollup等方式优化数据模型,用户可以根据需要自行创建JD_OLAP数据存储模型,并提供RollUp功能优化数据模型,实现海量数据秒级查询,可以将建好的模型分享给业务用户直接进行各种维度的组合查询及可视化分析。
【JD_OLAP建模】由原【JDInsight建模】模块演化而来,继承原模块的大部分能力,并对JD_OLAP模型创建和分区管理等功能进行了升级。
JD_OLAP建模支持以下主要功能:
支持用户使用两种方式创建数据模型:自定义SQL方式和配置方式,简单易用,普通用户也能快速上手; 支持两种方式导入数据:本地上传及调度任务; 支持用户在模型创建过程中使用分区(Partition)和分桶(Bucket),优化查询性能; 支持用户基于模型创建RollUp,优化查询性能; 支持模型分享和模型权限申请,业务用户可以直接使用; 支持基于模型的可视化分析,上卷下钻、筛选及维度切换等。
即席查询 固化数据产品往往需要根据业务需求提前计算好各种维度组合,消耗计算资源,而且维度组合是有限的,不可能覆盖用户所有的场景。
JD_OLAP支持即席查询,能够满足更多的场景需求,能够支持所有的维度组合查询,同时节省大量的计算资源。
2、基于海量数据的用户画像和用户行为分析 用户画像和用户行为往往需要基于海量的交易数据和流量数据进行分析,一天的数据量就多达几亿。
JD_OLAP底层的存储和计算引擎具有MPP、列式存储和预计算的特性,专为大数据量的存储和查询而设计。
同时,支持数据人员根据每天的查询统计,创建无业务意义的rollup表,优化查询效率,一个Rollup可涵盖多个业务分析场景。
其他基于海量数据的客服指标监控、广告展点消数据
3、交易数据、流量数据的刷岗需求 支持变化维表与事实表的关联:由于采销岗和人员对应关系维表内容会经常更新,并且需要使用最新的维表去关联事实表的历史数据。
如果利用kylin建模,用户需要先构建不懂时间粒度的宽表,再基于宽表构建Cube。
为了满足用最新的维表数据去关联事实表的历史数据的需求,就需要每天重刷大量的历史数据,会浪费大量的计算资源和存储资源。
JD_OLAP可以支持只按天粒度同步事实表和维表,然后查询时现场关联即可。不需要每天重刷历史数据,节省计算资源和存储资源。
在 DataInsight 模式下,应用的阅览者可以使用数据探索功能,无需自己配置报表,即可以交互的方式来探索数据源,获得更高的自由度。阅览者可对数据源做探查,自由拖拽任意字段,进行复杂的指标字段计算,也可以做图表类型切换、使用下钻交互等。
数据建模
【参考:1. 取弘的word;2. 帮助文档】