Spark RDD在Spark中的地位和作用如何?
一 为什么会有Spark?
因为传统的并行计算模型无法有效的解决迭代计算(iterative)和交互式计算(interactive)而Spark的使命便是解决这两个问题，这也是他存在的价值和理由.
二 Spark如何解决迭代计算?
其主要实现思想就是RDD,把所有计算的数据保存在分布式的内存中.迭代计算通常情况下都是对同一个数据集做反复的迭代计算，数据在内存中将大大提升IO操作.这也是Spark涉及的核心:内存计算.
三 Spark如何实现交互式计算?
因为Spark是用scala语言实现的,Spark和scala能够紧密的集成,所以Spark可以完美的运用scala的解释器,使得其中的scala可以向操作本地集合对象一样轻松操作分布式数据集.
四 Spark和RDD的关系?
可以理解为:RDD是一种具有容错性基于内存的集群计算抽象方法,Spark则是这个抽象方法的实现.
相关推荐HOT
redis数据类型有几种
消息队列(stream)：一个特殊的数据结构，用于支持流式处理消息，并可以支持消费者分组、消费者位移等特性。每种数据类型都有对应的命令可以进行...详情>>
2023-03-16 10:19:36
hadoop集群的最主要瓶颈
Hadoop集群的主要瓶颈取决于许多因素，例如集群的大小、硬件规格、网络架构、数据复杂性和处理任务等。以下是可能影响Hadoop集群性能的一些常见...详情>>
2023-03-14 10:22:17
java底层hashmap扩容怎么实现？
Hashtable的synchronized是针对整张Hash表的，即每次锁住整张表让线程独占，ConcurrentHashMap允许多个修改操作并发进行，其关键在于使用了锁分...详情>>
2022-11-08 14:31:36
用户画像系统中遇到的比较难的问题是什么？
如果我们直接将用户的标签转换为稀疏向量来存储，对于类别标签使用`one-hot`编码，但这样会出现维度爆炸的问题，向量过于稀疏，向量之间的余弦...详情>>
2022-11-07 15:25:17
京公网安备 11010802030320号