加入收藏 | 设为首页 | 会员中心 | 我要投稿 应用网_丽江站长网 (http://www.0888zz.com/)- 科技、建站、数据工具、云上网络、机器学习!
当前位置: 首页 > 服务器 > 系统 > 正文

大数据服务化业务架构

发布时间:2021-05-12 18:28:29 所属栏目:系统 来源:互联网
导读:此时数据资产通常是在数据仓库,访问速度较慢,因此需要通过数据加速到更高速的存储介质,最后经过多场景服务接口,服务于业务。 在技术架构方面,数据接口形式有 RPC 和 HTTP 两类接口。 RPC 接口不需要重复建立链接,且传输数据时会被高效序列化,适用于高

此时数据资产通常是在数据仓库,访问速度较慢,因此需要通过数据加速到更高速的存储介质,最后经过多场景服务接口,服务于业务。

在技术架构方面,数据接口形式有 RPC 和 HTTP 两类接口。

RPC 接口不需要重复建立链接,且传输数据时会被高效序列化,适用于高吞吐场景下的微服务,实现负载均衡、流控、降级、调用链追踪等功能。相对而言,HTTP 接口传输效率低一些,但使用非常简单。

关键技术一:配置即开发

平台用户分为两类角色:其一是数据服务生产方,其二是数据服务调用方。数据服务生产方只需要配置,做到“配置即开发”。

配置包括:

  • 数据源
  • 数据加速到何处
  • 接口形态,访问方式
  • 配置独立的测试环境,访问隔离的测试数据

当配置完毕后,数据服务平台便会根据配置清单,完成接口的自动化生产和部署。

生产和部署完毕后,调用方在平台申请服务权限调用。通过自动化生产,达到配置即开发的目的,从而极大的提升效率。

关键技术二:多模式服务形态

数据服务有多种服务形态,包括:

①KV API:简单点查,可以支撑百万 QPS、毫秒延迟。这类 API 是通过模板自动化创建出来,支持单查、批量查询等接口,返回的结果是 Protobuf (PB) 结构体,从而将结果自动做了 ORM,对于主调方更加友好。

典型场景包括:根据 IP 查询 geo 位置信息、根据用户 Id 查询用户标签画像信息等。

②SQL API:复杂灵活查询,底层基于 OLAP/OLTP 存储引擎。通过 Fluent API 接口,用户可自由组合搭配一种或若干种嵌套查询条件,可查询若干简单字段或者聚合字段,可分页或者全量取回数据。

典型场景包括:用户圈选(组合若干用户标签筛选出一批用户)。

③Union API:融合 API,可自由组合多个原子 API,组合方式包括串行和并行方式。

调用方不再需要调用多个原子 API,而是调用融合 API,通过服务端代理访问多个子查询,可以极大降低访问延迟。

(编辑:应用网_丽江站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读