coalesce 会降低同一个 stage 计算的并行度，导致 cpu 利用率不高，任务执行时间变长。我们目前有一个实现是需要将最终的结果写成单个 avro 文件，前面的转换过程可能是各种各样的，我们在最后阶段加上 repartition(1).write().format('avro').mode('overwrite').save('path')。最近发现有时前面的转换过程中有排序时，使用 repartition(1) 有时写得单文件顺序不对，使用 coalesce(1) 顺序是对的，但 coalesce(1) 有性能问题。目前想到可以 collect 到 d

austin

面对缓存，有哪些问题需要思考？

后台服务架构高性能设计之道

如何辨别一个程序员水平的高低？

为什么下面程序递归计算斐波那契数列java比c++要快？

函数式编程所倡导使用的「不可变数据结构」如何保证性能？

现代C/C++编译器有多智能？能做出什么厉害的优化？

Partial Evaluation, Constant Propagation, AI的关系是什么？

Typed Racket相对于Racket会有多少性能提升？

网上说 Java 的性能已经达到甚至超过 C++，是真的吗？

Lua 的速度为什么比 Python 快？

你是如何搭建 Web 前端性能监控系统的？

如何彻底解决「网络延迟」这个问题？

java循环长度的相同、循环体代码相同的两次for循环的执行时间相差了100倍?

【JAVA】变量声明在循环体内还是循环体外的争论，以及怎样才真正叫『避免在循环体中创建对象』？

JavaScript 函数式编程存在性能问题么？

CSS sprite 对性能究竟有多大影响？

高性能队列——Disruptor

JVM对于声明为final的局部变量（local var）做了哪些性能优化？

为什么Java的Hashmap比Python的dictionary慢得多？

增加fetch值（这个根据我们的实际经验，lan内影响很有限）