2025-09-11 16:22
如果你的数据集规模庞大，或者数据以极高的速度涌入，或者数据包含极大的多样性，以至于你必须重新构想使用它的方式——那么你就遇到了大数据问题。
以谷歌公司为例，它也面临着一个大数据问题。为了开发出有用的搜索产品，它需要爬取整个万维网。数据规模如此巨大是问题之一，谷歌公司需要以互联网的速度更新其搜索结果，这是另一个关于速度的问题。谷歌公司还需要对网络上涵盖的近乎无限的主题进行分类，这则一个数据多样性的问题。
同样，即将在美国国家科学基金会-美国能源部维拉C鲁宾天文台，使用全球最大的科学数码相机进行的“时空遗产巡天”项目（Legacy Survey of Space and Time，LSST），在数据收集能力上的飞跃，也给研究人员带来了一个大数据问题。
LSSTCam收集的数据量将超过以往所有天文调查的总和。这是一个数量级的问题。与以往的调查相比，LSST每晚报告的夜空变化将是其十倍。这是速度的问题。LSSTCam将收集其他调查甚至无法探测到的星系、恒星和太阳系天体的多波段时间序列数据。这是多样性的问题。
幸运的是，科学家们热爱问题！高效搜索正是为了应对互联网的大数据问题而产生的?；餮凹际醯挠τ靡舱窃谖锢硌е械拇笫菸侍獗尘跋掠υ硕Ｂ潮鎏煳奶ǖ睦≡且桓雠哟笄冶蟮氖菁?，以及该数据集为研究人员带来的待解决问题。
