聊一下服务器上OOM的那些事儿

前言 为什么今天来讨论这个话题呢?因为昨天遇到一个大坑,其实也不是算大坑吧,就是一件特别奇怪的事儿。 问题 不多bb,直接上图,在我提交sparkSQL和datax同步任务的时候发现部分任务报错如下: 部分任务OOM了,所在机器配置是物理内存为32G,我提交了20个任务......(datax同步任务有最大使用内存限制为1G、sparkSQL只有一个Driver端在服务器上面,没有设置,默认为1G) spark官网默认配置如下: 那么这样算的话,提交20个任务,即占用内存20G,那么总共是32G,用了20,感觉很饱满啊???资源充足噻~ 排查过程 经过排查后发现,linux的最大线程数为409