当前位置 知且行 其他 正文 下一篇:

RabbitMQ实战3.公平调度

继上篇 RabbitMQ实战2.消息轮询、响应、持久化

本篇沿用上篇的代码,请先阅读上篇文章

轮询不能保证执行时间的效率最大化

用轮询分配消息的方式只能在消息条数上保证公平,并没有兼顾每个消息的执行时间。这样就可能导致这样的情况:

消费者A正在执行一个非常耗时的任务,预估耗时1小时;消费者B执行的任务只要0.1s就完成,由于是按照任务数分配,就会造成消费者A有一堆任务在后面排队,而消费都B却闲得心里有点慌…

生产者投递一个长时间的任务以及五个短时间的任务

  1. rabbitMq [master] python new_task.py long time.......................
  2. [x] Sent 'long time.......................'
  3. rabbitMq [master] python new_task.py one .
  4. [x] Sent 'one .'
  5. rabbitMq [master] python new_task.py two .
  6. [x] Sent 'two .'
  7. rabbitMq [master] python new_task.py three .
  8. [x] Sent 'three .'
  9. rabbitMq [master] python new_task.py four .
  10. [x] Sent 'four .'
  11. rabbitMq [master] python new_task.py five .
  12. [x] Sent 'five .'

消费者1对任务的接受情况:

  1. rabbitMq [master] python worker.py
  2. [*] Waiting for messages. To exit press CTRL+C
  3. [x] Received b'long time.......................'
  4. [x] Done
  5. [x] Received b'two .'
  6. [x] Done
  7. [x] Received b'four .'
  8. [x] Done

在第一个长时间任务未完成之前,后面的两个短时间任务只能一直在等待…

排队等待

消费者2对任务的接受情况:

  1. rabbitMq [master] python worker.py
  2. [*] Waiting for messages. To exit press CTRL+C
  3. [x] Received b'one .'
  4. [x] Done
  5. [x] Received b'three .'
  6. [x] Done
  7. [x] Received b'five .'
  8. [x] Done

消费者2很快就完成了分配的任务,然后就无所事事地看着消费者1忙着狗…

设置消费者的预读取数

这样的分配明显不公平,数目上的绝对公平忽视了处理效率的区别。更好的方案应该是在分配任务时,根据哪个消费者空闲,就优先分配给此消费者

具体的配置:

worker.py

  1. channel.basic_qos(prefetch_count=1) # 同一时刻,不要发送超过一条消息给一个消费者
  2. channel.basic_consume(callback,
  3. queue='task_queue')

执行情况:

消费者1: 专注于处理耗时的任务

  1. rabbitMq [master] python worker.py
  2. [*] Waiting for messages. To exit press CTRL+C
  3. [x] Received b'long time.......................'
  4. [x] Done

消费者2: 将零散的小任务都处理了

  1. rabbitMq [master] python worker.py
  2. [*] Waiting for messages. To exit press CTRL+C
  3. [x] Received b'one .'
  4. [x] Done
  5. [x] Received b'two .'
  6. [x] Done
  7. [x] Received b'three .'
  8. [x] Done
  9. [x] Received b'four .'
  10. [x] Done
  11. [x] Received b'five .'
  12. [x] Done

如此调整,才能实现在总的执行时间最优化

参数文档

转载必须注明出处:https://www.zhiqiexing.com/59.html

关于我

我希望能成为一个认真、有趣、创造更多价值的人
关注微信
微信扫一扫关注我

微信扫一扫关注我

返回顶部