DataOps 是现代数据堆栈的将来吗
发布时间：2022-09-02 12:35:15 所属栏目：资源 来源：互联网
导读：在DevOps掀起软件工程风暴之前，一旦他们的应用程序开始运行，开发人员就被蒙在鼓里。工程师们不是在第一时间知道故障发生，而是在客户或利益相关者抱怨 网站滞后 或503页面太多时才会发现。 不幸的是，这会导致了同样的错误反复发生，因为开发人员缺乏对
|
在DevOps掀起软件工程风暴之前，一旦他们的应用程序开始运行，开发人员就被蒙在鼓里。工程师们不是在第一时间知道故障发生，而是在客户或利益相关者抱怨 "网站滞后 "或503页面太多时才会发现。 不幸的是，这会导致了同样的错误反复发生，因为开发人员缺乏对应用程序性能的洞察力，不知道在发生故障时从哪里开始调试他们的代码。 所以现在广泛采用DevOps概念，要求在软件部署和开发过程中，开发人员（Dev）和运营（Ops）团队之间进行协作和持续迭代来解决上述问题。 事实上，如果你是一个数据工程师，你可能已经在你的堆栈中应用了DataOps流程和技术，无论你是否意识到这一点。 在过去的几年里，DataOps在各种规模的数据团队中越来越受欢迎，它是一个能够快速部署数据管道的框架，同时还能提供可靠和值得信赖的数据，并且随时可用。 什么是数据运维？ DataOps 是一门融合数据工程和数据科学团队以支持组织的数据需求的学科，其方式类似于 DevOps 帮助扩展软件工程的方式。 与 DevOps 如何将 CI/CD 应用于软件开发和运营类似，DataOps 需要一种类似于 CI/CD、自动化优先的方法来构建和扩展数据产品。同时，DataOps 使数据工程团队更容易为分析师和其他下游利益相关者提供可靠的数据来推动决策。 与软件可观察性一样，数据可观察性包括自己的一组支柱： 新鲜度：数据是最新的吗？最后一次更新是什么时候？ 分布：数据是否在可接受的范围内？它是预期的格式吗？ 卷：所有数据都到了吗？是否有任何数据重复或从表中删除？ 架构：架构是什么，它有变化吗？对架构的更改是故意的吗？ 沿袭：哪些上游和下游依赖项连接到给定的数据资产？谁依赖这些数据进行决策，这些数据在哪些表中？ 通过深入了解这些支柱的数据状态，DataOps 团队可以了解并主动解决数据生命周期每个阶段的质量和可靠性问题。 （编辑：应用网_丽江站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
浙公网安备 33038102330468号