先进先出调度器(FIFO)
单队列,根据任务提交先后顺序,先来先执行。
优点:简单。
缺点:不支持多队列,生产环境很少用。
容量调度器(Capacity Scheduler)
Hadoop 2.7.2 默认的调度器
- 多队列:每个队列有一定的资源,每个队列采用 FIFIO 调度策略。
- 容量保证:可为每个队列设置最低资源保证和最高资源使用上限。
- 灵活性:如果其中一个队列有资源剩余,可以暂时分配给那些需要资源的队列,一旦该队列有新的任务,则其他资源会归还给该队列。
- 多租户:支持多用户共享集群资源、多应用同时运行。为防止一个用户独占队列资源,会对同一用户提交的任务进行资源量的限定。
公平调度器(Fair Scheduler)
CDH版本的yarn 调度器默认
第一个程序在启动时可以占用其他队列的资源(100%占用),当其他队列有任务提交时,占用资源的队列需要将资源还给该任务。还资源的时候,效率比较慢。
- 多队列:每个队列有一定的资源,每个队列采用 FIFIO 调度策略。
- 容量保证:可为每个队列设置最低资源保证和最高资源使用上限。
- 灵活性:如果其中一个队列有资源剩余,可以暂时分配给那些需要资源的队列,一旦该队列有新的任务,则其他资源会归还给该队列。
- 多租户:支持多用户共享集群资源、多应用同时运行。为防止一个用户独占队列资源,会对同一用户提交的任务进行资源量的限定。
容量调度器:优先选择资源利用率低的队列
公平调度器:优先选择对资源的缺额比例大的
版权声明:本文为weixin_46376562原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。