处理海量数据的基本思路是什么?

2022-07-12 08:20

3个回答
首先要进行数据预处理,包括:
数据清理(数据清理通过填写空缺值,平滑噪声数据,识别删除孤立点,并解决不一致来清理数据,数据清理内容包括:格式标准化、异常数据清除、错误纠正、重复数据的清除);
数据规约(数据集的压缩表示,但是能和原始数据集达到相同或基本相同的分析结果,主要策略:数据聚集、维规约、数据压缩、数值规约).
楼主的问题简单来说就是单表数据量过多。可以尝试下索引,分区,分库。或者使用分布式存储。
DELECT FROM 表名
相关问答
量子力学基本原理
1个回答2024-03-03 16:44
量子力学的基本原理就是量子论,即微观世界物理量(运动,能量等)的不连续性。还有普朗克常量,玻尔原子模型,互补原理,或波粒二象性,不确定性理论,概率论,不相容原理等。 量子力学基本原理在平行宇宙我认为...
全文
这正是文化基因的力量中的这指什么
1个回答2023-08-13 17:21
糠落地式吻炊轮训难
知识就是力量是培根根据阿基米德的事例提出的吗?
1个回答2024-02-29 03:34
  故事也许不假,但“知识就是力量”的思想却是我国古代的王充首创的,原文在此;   王充首倡“知为力”   英国哲学家弗兰西斯·培根在1620年出版的主要著作《伟大的复兴》的第二部分(他自...
全文
什么样的数据量叫大数据?
2个回答2022-09-14 09:08
分好多类吧;比如某计算天体运动的程序要计算几百位的浮点数据运算;虽然数据体积不大;但是计算过程很占资源 再比如,某网站要在1秒内相应上万个用户的登陆请求;这个数据体积也不大,但是要求即时响应速度; 再...
全文
没胆量的人,基本也没酒量~~
1个回答2024-01-27 05:11
那不一定,有的人很能喝的,酒量不错,本来喝的差不多了,媳妇一来酒全吓醒了
什么是证据,证据的基本特征有哪些
1个回答2023-02-22 04:37
我身上的伤是不是证据?
风水的基本原理是什么?有科学根据吗?
1个回答2022-07-26 00:23
万物相生相克
自学量子力学基础
1个回答2024-02-20 21:23
微积(最好是同济大学版的,便于自学。习题川大的不错,更偏向于物理学的应用。)、线性代(我们是川大版的,看起来很糊涂,不过我建议同时参考谢国瑞主编的《线性代数》),初中生的话三角函数和复数必须先自学,物...
全文
多大的数据量称得上大数据
1个回答2022-12-13 10:08
大数据的数据量巨大。以数据量大、类型多、存取速度快、应用价值高为主要特征的数据集合。 为了应对大数据挑战,已形成对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,从中发现新知识、创造新价...
全文
小天才手表数据是一直开着吗?费流量吗?
1个回答2024-02-29 23:43
您好,感谢您对小天才的关注,您不使用定位和微聊功能是不会消耗到流量的哦,请您放心使用。
扫码下载APP
听书听课听播客,随时随地陪伴你
热门问答