×

scala

【快速入门大数据】前沿技术拓展Spark,Flink,Beam(大数据技术应用入门)

jsonyy jsonyy 发表于2024-05-19 浏览8090 评论0
概览 Spark、Flink、Beam Beam编写完适用于Spark、Flink使用 Spark mr问题 mr->spark? 开发不爽 mr两个过程 速度不快 m存硬盘r存hdfs 框架多样性 批处理 流式处理 Spark特征 http://spark.apache.org/ 速度快 内存和磁盘 都比mr快 易用 支持多语言 命令行直接运行 通用性 同一个应用程序同时引用库 运行 可运行在hdfs之上计算 Spark生态系统对比Hadoop生态系