当前位置：首页 > 移动开发 > 正文

SPARK之map()和mapPartition()的区别

  • map()：每次处理一条数据

  • mapPartition()：每次处理一个分区的数据，这个分区的数据处理完后，原RDD中分区的数据才能释放，可能导致OOM

    当内存空间较大的时候建议使用mapPartition()，以提高处理效率

上一篇
iOS-VideoToolbox硬编码H264

下一篇
vue-cli3 ios10白屏问题解决思路

相关文章

最新文章