大数据服务平台的能力建设会朝着统一的 OneService 体系发展

数据服务是部署在容器云环境，容器云是快手自研的弹性可伸缩的容器服务，部署在其中的 RPC 服务会注册到 KESS (快手自研服务注册与发现中心)，供主调方去调用，如有离群坏点，会自动摘除。

服务调用是基于 RPC，全链路都有监控，包括服务可用性、延迟、QPS、容器CPU、容器内存等情况。

资源隔离

资源隔离是可用性保障的常见手段之一，通过隔离将意外故障等情况的影响面降低。

不管是微服务，还是存储，我们都按照业务+优先级(高、中、低)粒度隔离部署，独立保障，业务之间互不影响、业务内不同级别也互不影响。

同一业务线内可能有多个不同数据服务，通过混合部署，提高资源使用率。

全链路监控

服务很难避免出现问题或者故障，一旦出现问题，及早发现及早介入是非常重要的。

服务平台构建了全链路监控，包括：

• 数据同步：对数据资产同步至高速存储的过程进行监控，包括数据质量检测(过滤脏数据)、同步超时或者失败检测等。
• 服务稳定性：构建一个独立的哨兵服务，来监测每个 API 的运行指标(如延迟、可用性等)，客观的评估健康度。
• 业务正确性：数据服务需要确保用户访问的数据内容和数据资产表内容是一致的，因此哨兵服务会从数据一致性层面去探查，确保每个 API 的数据一致性。

总结和展望

大数据服务化平台从 2017 年演化至今，已经支持多类应用场景，涵盖直播、短视频、电商、商业化等在线业务，生产者中台等准在线业务，运营系统等偏内部数据系统等，目前平台在线业务总 QPS 达到 1000W，平均延迟在毫秒级。

对于准在线业务和内部数据系统，基于 CH、Druid 等多种数据引擎，支持多种灵活查询。

数据服务平台支持了多种模式 API，很好满足了多元化需求。此外数据服务平台也支持服务权限、API 市场等丰富功能，进一步赋能业务。

大数据服务化平台未来进一步发展方向主要包括：

①贴近业务需求：数据服务平台本身是为业务服务，通过赋能业务而对企业带来价值，业务本身在不断发展，未来也会有更多的需求出现，因此数据服务平台本身会不断抽象和沉淀出公共数据服务能力。

②深耕数据资产：数据资产是数据服务之根本，如果没有完善的数据资产建设，上面就很难构建出结构化的统一的数据服务，针对数据资产有较多内容，包括资产注册和审核、资产地图、资产标签、资产管理、资产开放和服务。

大数据服务平台的能力建设会朝着统一的 OneService 体系前进。

主要包括三个方面：

• 支持丰富的数据源：包括大宽表、文本文件、机器学习模型(模型也是一种数据资产)，来构建完善的数据服务。
• 支持多样取数方式：除了支持同步快速取数之外，还支持异步查询取数、推送结果、定时任务等多样化方式，以满足业务多种场景需求。
• 建设统一的 API 网关：集成权限管控、限流降级、流量管理等于一体，不仅平台创建的服务可以注册进 API 网关，用户自己开发的 API 也可注册进 API 网关，从而享受已有的基础网关能力，为业务提供数据服务能力。

（编辑：应用网_丽江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!