大数据到底有多大谷歌搜索规模为 62 PB
发布时间：2022-03-08 10:25:42 所属栏目：动态 来源：互联网
导读：众所周知，算法、算力与数据是人工智能（AI）发展的三驾马车，吴恩达等学者也常说：以数据为中心的 AI，或数据驱动的 AI。 由此可见，近年来激增的数据量是 AI 腾飞的源动力之一，数据在 AI 中扮演重要角色。那么，人们口中常说的大数据，规模究竟有多大呢
|
众所周知，算法、算力与数据是人工智能（AI）发展的“三驾马车”，吴恩达等学者也常说：以数据为中心的 AI，或数据驱动的 AI。 由此可见，近年来激增的数据量是 AI 腾飞的源动力之一，数据在 AI 中扮演重要角色。那么，人们口中常说的“大数据”，规模究竟有多大呢？ 出于好奇心，一位意大利物理研究者 Luca Clissa 调查了 2021 年几个知名大数据源（谷歌搜索、Facebook、Netflix、亚马逊等等）的规模大小，并将它们与大型强子对撞机（LHC）的电子设备所检测到的数据做了对比。 右上角（灰色部分）是欧洲核子研究组织（CERN）大型强子对撞机（LHC）实验的电子设备所检测到的数据，规模最大。 在上一次运行（2018 年）中，LHC 在四个主要实验（ATLAS、ALICE、CMS 和 LHCb）中的每一个实验里，每秒产生大约 24 亿次粒子碰撞，每次碰撞可以提供约 100 MB 数据，因此预计年产原始数据量约为 40k EB（=10 亿千兆字节）。 但根据目前的技术和预算，存储 40k EB 数据是不可能的。而且，实际上只有一小部分数据有意义，因此没有必要记录所有数据。记录的数据量也降低到了每天大约 1 PB，2018 年的最后一次真实数据只采集了 160 PB，模拟数据 240 PB。 他对谷歌搜索、YouTube、Facebook 等等数据源进行了估算，结论如下： 谷歌搜索：最近的一项分析估计，Google 搜索引擎包含 30 到 500 亿个网页。根据 Web Almanac 所提供的信息，假设谷歌的年度平均页面大小约为 2.15 MB，截至 2021 年，Google 搜索引擎的数据总规模应约为 62 PB。 YouTube：根据 Backlinko 的数据，2021 年用户每天在 YouTube 上上传的视频时长为 72 万小时。假设平均大小为 1 GB（标准清晰度），2021 年 YouTube 的数据大小约为 263 PB。 Netflix：Domo 估计，2021 年 Netflix 用户每天消耗 1.4 亿小时的流媒体播放，假设每小时 1 GB（标准定义），总计大约 51.1k PB。 亚马逊：亚马逊网络服务 (AWS) 的首席布道师 Jeff Barr 称，截至 2021 年，亚马逊 S3 （Simple Storage Service）中存储了超过 100 万亿个对象。假设平均每桶的对象大小为 5 MB ，那么存储在 S3 中的文件的总大小则约等于 500 EB。 （编辑：应用网_丽江站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
浙公网安备 33038102330468号