×

大数据

还不收藏?Spark动态内存管理源码解析!(spark的内存管理)

站长资讯网友投稿帖 站长资讯网友投稿帖 发表于2024-04-20 浏览3969 评论0
Spark有两种内存管理模式,静态内存管理(Static MemoryManager)和动态(统一)内存管理(Unified MemoryManager)。动态内存管理从Spark1.6开始引入,在SparkEnv.scala中的源码可以看到,Spark目前默认采用动态内存管理模式,若将spark.memory.useLegacyMode设置为true,则会改为采用静态内存管理。