美文网首页
Storm从入门到精通10:Storm的内部通信机制

Storm从入门到精通10:Storm的内部通信机制

作者: 金字塔下的小蜗牛 | 来源:发表于2020-04-04 23:15 被阅读0次

Storm集群工作时,内部通信机制如下图所示:

image

(1)接收线程从网络上接收消息放到接收缓冲区,并发送到接收队列。

(2)工作线程从接收队列拿到消息并处理,并将处理结果放到发送队列。

(3)发送线程将发送队列中的消息放到发送缓冲区。

(4)各个缓冲区的控制参数和默认大小:

  1. 接收缓冲区:topology.receiver.buffer.size = 8K;
  2. 接收队列:topology.executor.receiver.buffer.size = 1024K;
  3. 发送队列:topology.executor.send.buffer.size = 1024K;
  4. 发送缓冲区:topology.transfer.buffer.size = 1024K;

相关文章

网友评论

      本文标题:Storm从入门到精通10:Storm的内部通信机制

      本文链接:https://www.haomeiwen.com/subject/mrjkdhtx.html