Spark 更新到2.0了
看起来变化还比较大,之前对 rdd 进行 cache(StorageLevel.OFF_HEAP) 操作是存到 tachyon 里面的,现在直接移除了,用了自己的一套实现,tachyon 现在也改名叫 alluxio 了,想在 spark 里用只能用类似 hdfs 的路径来访问 alluxio://****
看起来变化还比较大,之前对 rdd 进行 cache(StorageLevel.OFF_HEAP) 操作是存到 tachyon 里面的,现在直接移除了,用了自己的一套实现,tachyon 现在也改名叫 alluxio 了,想在 spark 里用只能用类似 hdfs 的路径来访问 alluxio://****