先进先出调度器(FIFO)

单队列,根据任务提交先后顺序,先来先执行。
优点:简单。
缺点:不支持多队列,生产环境很少用。
在这里插入图片描述

容量调度器(Capacity Scheduler)

Hadoop 2.7.2 默认的调度器

  1. 多队列:每个队列有一定的资源,每个队列采用 FIFIO 调度策略。
  2. 容量保证:可为每个队列设置最低资源保证和最高资源使用上限。
  3. 灵活性:如果其中一个队列有资源剩余,可以暂时分配给那些需要资源的队列,一旦该队列有新的任务,则其他资源会归还给该队列。
  4. 多租户:支持多用户共享集群资源、多应用同时运行。为防止一个用户独占队列资源,会对同一用户提交的任务进行资源量的限定。
    在这里插入图片描述

公平调度器(Fair Scheduler)

CDH版本的yarn 调度器默认
第一个程序在启动时可以占用其他队列的资源(100%占用),当其他队列有任务提交时,占用资源的队列需要将资源还给该任务。还资源的时候,效率比较慢。

  1. 多队列:每个队列有一定的资源,每个队列采用 FIFIO 调度策略。
  2. 容量保证:可为每个队列设置最低资源保证和最高资源使用上限。
  3. 灵活性:如果其中一个队列有资源剩余,可以暂时分配给那些需要资源的队列,一旦该队列有新的任务,则其他资源会归还给该队列。
  4. 多租户:支持多用户共享集群资源、多应用同时运行。为防止一个用户独占队列资源,会对同一用户提交的任务进行资源量的限定。

容量调度器:优先选择资源利用率低的队列
公平调度器:优先选择对资源的缺额比例大的

在这里插入图片描述


版权声明:本文为weixin_46376562原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
原文链接:https://blog.csdn.net/weixin_46376562/article/details/125855125