大数据解决方案
配景
现在数据应用主要集中在云端,存在数据链路长,营业闭环大、云端与边缘端存在重复开发、数据冗余,以及从数据收罗到数据剖析链条接纳多代码开发,盘算资源消耗高,数据剖析性能低,页面展示延迟大,维护难题等问题。
整体架构
平台部署在云端,数据源整合结构化数据、非结构化数据以及半结构化数据,涵盖普遍的数据源。数据收罗包罗批量收罗、实时收罗和IoT收罗。
存储引擎部门团结现实应用治理存储种种类型大数据;盘算引擎提供高速盘算能力,包罗:离线盘算、内存盘算、流盘算和查询盘算;资源调治平台提供统一的资源治理与调治。
数据服务可凭证差异的营业需求提供数据集服务、API服务、BI数据服务和AI数据服务。
典型场景
OLAP剖析场景
营业场景:
海量明细数据的实时OLAP,秒级响应
查询维度无邪多变,无法通过预盘算建设Cube
全SQL接口,支持对接种种BI工具
支持分钟级数据写入
实时剖析场景
营业场景:
基于实时数据的实时剖析场景,一样平常要求端到端的秒级响应。
支持分钟级数据写入
高并发现细查询场景
营业场景:
基于主键的明细数据检索,一样平常要求1s内响应;
查询维度无邪多变,无法通过预盘算建设Cube
高并发,有可能到达数千甚至上万的并发。