??

java ?? ???? ????? RocketMQ? ?? ??? ???? ?????.

???? ?? ?? ??? ? ? ?? ???, ????? ?? ??? '???'???. ?? ??? ??? ?? ???? ?? ?? ?? ???? ??? ??????. ??? ???? ???? ?? ?? RocketMQ? ????? ???. ?? 30? ??? ???? ????? ?? MQ? ?? ?? ???? ???? ?????. ? ???? ????? ????? ?? ?? ??? ???? ?? ?? ?? ??? ?????.

MQ? ??

Decoupling

?? ????? ???????? MQ? ??? ??? ????? ?????. ?? ????? N?? ?? ??? ??? ??? ?? ??? ???? ???????. ??? ????? ???? ??? ?? ???? ???. ? ?? ???? ?? ?? ??? ????. ??? RPC, ??? HTTP, ?? ??? MQ???.

Asynchronous

?? ????? N?? ??? ???? ??? ?? ???? ???? ?? ??? ????? ?????. ?? MQ??? ?? ??? ??? ?? ??? ?? ???? ????. MQ? ???? ????? ?? ?????. ?? ??? ??????? ??? ??? ?????. ?? ??? ??? ??? ???? ?? ???????.

Peak Shaving

?? ?????? ?? ?? ?? ??? ???? ????? ?????? ??? ?????? ??? ?? ??? ?????. ?? MQ? ???? ??? ??? ?? ??? ??? ??? ????. ??????? ??? ?????.

RocketMQ ??

RocketMQ? Java? ?????? Alibaba? ?? ?? ??? ?????? Kafka? ?? ??? ?????. Kafka? ?? ???? ??? ??????? Kafka? Scala? ???? Java ?????? ?? ??? ?? ? ??? ?? ??? Java ?????? ?? ??? ??? ???? ?? ??? ?? ????. Kafka? ?? ? ???? Kafka? ? ???? ?? ?? ??? ?? ?? ????. ????? RocketMQ? ?? ???? RocketMQ? Alibaba? ??? ?? N Double 11? ???? ??????. ?? ??? ??? ? ?????. , ????? RocketMQ ??? ?? ???? ????.

RocketMQ? ? ?? ?? ?? ??

Gitee.com/mirrors/roc? ??...

RocketMQ?? ? ?? ?? ?? ??? ??? ? ? ????.

NameServer

• ?? ??? ???, ?? ??, ???? ?? ??, ??? NameServer ?? ??? ??? ?? ??? ????.
• Borker? ????? ?? ????? ?? ??? ??? ?????. ???? ???? ????? ??? ??? ?????? ?? NameServer ??? ???? ?????.
• ?? ??? ??? NameServer ?????? ?? ???? ?????.
• AP ??.

Borker

• RocketMQ? ??? ???? ???? ???? ? ?????.
• Borker? ??? ??? ?? ?? ??? ??? NameServer? ????? ?????.
• Borker?? ???? ???? ? ?? ??? ????. ???? ??(??? ??) ? ??(??? ??) ??? ?????. ???? ???? ??? ? ?? ?? ???? ?? ??? ??? ? ????. BorkerId=0? Matser? ???? BorkerId!=0? Follower? ?????. ??? ?? ? ?????. ??, ????? BorkerId=1? ???? ?? ??? ??? ? ????. ??, ?? ??? RocketMQ?? ??? ??? ??? ? ???? ???? ?? ??????? ??? ?????.

Producer

Producer? ????? NameServer? ?? Topic ??? ?? ??? ?????.

Consumer

Consumer? ????? NameServer? ?? ?? ??? ?? ??? ?????.

?? ???? Zookeeper? ???? ?? ??

?? RocketMQ ?? ????? ??? Zookeeper? ?? ??? ????? ??? ?? NameServer? ??? ?? ??? ??? ????.

• RocketMQ? ?? ??????? ? ?? ?? ????? ???? ?? ????.
• Zookeeper? ????? ??? RocketMQ?? ??? ? ?? ??? ????. ??? ?? ??? ???? ?? ????.
• Zookeeper? ?? ??? ???? ?? ??? ??? ? ????. ??? RocketMQ? ?? ??? ?? ???? ???? ? ??? ???? ???? ????.

RocketMQ ??? ??? ??

Message

• ??? ??????.
• ????? ??? ??? ???.
• ????? ?? ??? ?? ?? ?? ? ??? ?? ???? ?? ???? ??? ? ????.

Topic

• ??? ?????.
• ? ????? ??? ??? ???.
• ? ?? ??? ??? ?????.

Tag

• ????? ?? ??? ??? ?? ? ????. ??? ??? ???? ??? ??? ???? ????? ? ?????.
• ??? ???? ????.
• ? ?? ??? ??? ?????.

Group

? ProducerGroup? ConsumerGroup?? ?????. ConsumerGroup?? ?? Consumer? ???? ??? ?? ? ?????.

???? ?? ???? ConsumerGroup? ???? ??? ?? ???? ? ???? N?? ???? ????? ???? ??? ???? ??? ? ????. ?? ?? ConsumerGroup? ??? ??? ??? ??? ? ????. ? ??? ???? ?? ConsumerGroup? ?????.

Queue

• ???? ????? 4?? ???? ???? ????.
• ???? ?? ???? ??? ConsumerGroup? ???? ?? ???? ???? ??? ? ??? ??? ???? ??? ???? ??? ? ????.
• ?? ???? ???? ?????.
• ?? Queue? ?? Queue? ???? ???, ????? ?? Queue? ??? ?? Queue? ??? ???? ??? ??? ???? ????.

?? ??

?????(???? ??)? ??????(?????? ??)? ? ?? ?? ??? ????.

???? ?? ? ???? ?? ?? ?????? ??? ???? ?? MQ? ?? RocketMQ? ??? ??? ???? ?? ?? ?????? ??? ?????.

?????(???? ??)

???? ???? ?? ?????. ? ????? ConsumerGroup? ?? ???? ??? ???? ???? ?????. N? ???? ???? ?????. even? 0?? ???? ???? ??) ??? ???? ??? ???? ???? ?????. ???? ???? ConsumerGroup? ?? ?? ???? ???? ?? ?????.

???? ?? ????? Borker ??? ?? ??? ???? ?? ??? ${ROCKET_HOME}/store/config/ consumerOffset.json，如下圖所示：使用topicName@consumerGroupName為Key，消費(fèi)進(jìn)度為Value，Value的形式是queueId:offset???. ?, ConsumerGroup? ?? ?? ?? ? ConsumerGroup? ?? ??? ???? ??? ???? ???.

??(?? ??)

?? ?? ???? ConsumerGroup? ?? Consumer?? ?????.

?? ?? ????? ?? ?? ??? Consumer ??? ?????.

?? ??? ?? ???? ? ??? ????

?? ??? ?? ????

??? ???? ?? ???? ConsumerGroup? ?? ?? ???? ???? ??? ???? ???? ? ???? N ???? ??? ??? ????? ?? ?? ????. ?? ??? ?????? ???? ?? ??? ?? ????? ?????.

RocketMQ? ??? ?? ??? ?? ????? ????, ?? ?? ????? ???? ? ?? ????? AllocateMessageQueueAveragely ? AllocateMessageQueueAveragelyByCircle???. ? ????? ???? ???????.

?? ??? ??? q0~q15? ???? 16?? ???? c0-c2? ???? 3?? ???? ??? ?????.

? ?? ????? ???? ?? AllocateMessageQueueAveragely? ??? ??? ??? ????.

• c0：q0 q1 q2 q3 q4 q5
• c1：q6 q7 q8 q9 q10
• c2：q11 q12 q13 q14 q15

?? ??? ?? ????? ???? ?? AllocateMessageQueueAveragelyByCircle ??? ??? ????.

• c0: q0 q3 q6 q9 q12 q15
• c1: q1 q4 q7 q10 q13
• c2: q2 q5 q8 q11 q14

ConsumerGroup ??? ?? ???? ?????. ??? ?? ?? ???? ?? ? ???? N?? ????? ???? ??? ??? ??? N?? ???? ??? ???? ??? ?? ????.

??? ????? Topic? 4?? ???? 5?? Consumer? ??? ? ?? Consumer? ?? ????? ???? ?? ???? ???? ????. ??? RocketMQ??? Topic ??? ??? ?? ????? ?????. ?? ?? Consumer? ???? ????? ?? ??? ?? ? ??? ?????.

Rebalancing

Topic? ??? ? Queue ?? ??? ???? ?? ???, ?? ??? Queue ?? ??? ???? Consumer ? Consumer ?? ??? ??? ??? ????. ?? ?? ??? ? ??????? ???? ??? ??? ? ???? ?????. ???? ?? ? ??? ???? ?? ? ??? ????? ?????. ?, ?? ???? ????? ??????.

RocketMQ??? Consumer? Topic ??? ?? ????? ?????. Consumer ?? ???? ???? ?????.

???? RocketMQ? ?? ????? ????? ?????? ?? ? ??? ????.

?? ???, ? ????

????? MQ?? ???? ???? ? ?? ??? ????.

• ?: ???? ???? ????? ?????. ??? ???? ???? ???? ??? ?? ??? ? ??? ????. ??? ??? ???? ?? ?? ??? ??? ??? ??? ?? ?? ???? ????? ????.
• ??: ???? ????? ???? ???? ????? ???? ??? ??? ???, ????? ?? ?? ???? ??? ???? ???? ???? ? ? ????. ??? ?? ??? ?? ?? ?? ??? ??? ?? ??? ???.

Pull?? Pull?? ???? ?? ???? ?? ?????. ?? ?? ???? ????? ?? ??, ? ?? ? ??? ?????.

RocketMQ? Pull? Push? ?? ???? ??? ???? ??? Push? Pull? ???? ?????. ??? Consumer? Broker? ??? ?? ??????

??? RocketMQ ???? ???? ?????. ?? ???, ? ???, ??? ?? ? ?????.

Long polling

Consumer? ??? ???? ??? ?????. ?? ? ?? ???? ????.

• Message: Consumer? ???? ?? ? ??? ?????.
• ??? ??: Borker ?? ?? ?? ??? ??(??)???. 5??? ???? ??? ???? ???? ??? Consumer?? ???? ??? ?????.

???? ???

RocketMQ? ???? ???? ?????. ???? ???? ???? ????? ?? ? ???? ???? ?? ??? ? ??? ??? ?? RMQ_SYS_TRANS_HALF_TOPIC? ???? ?????. ???. RMQ_SYS_TRANS_HALF_TOPIC，這樣Consumer就無法消費(fèi)到這條消息了。

Broker會有一個(gè)定時(shí)任務(wù)，消費(fèi)RMQ_SYS_TRANS_HALF_TOPIC的消息，向Producer發(fā)起回查，回查的狀態(tài)有三種：提交、回滾、未知。

• 如果回查的狀態(tài)是提交，回滾，會觸發(fā)消息的提交和回滾；
• 如果是未知，會等待下一次回查，RocketMQ可以設(shè)置一條消息的回查間隔與回查次數(shù)，超過一定的回查次數(shù)，消息會自動回滾。

延遲消息

延遲消息是指息發(fā)到Broker后，不能立刻被Consumer消費(fèi)，需要等待一定的時(shí)間才可以被消費(fèi)到，RocketMQ只支持特定的延遲時(shí)間：1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h

?? ??? ?? ?? ??? ?? ??? ?? ? ??? ??????.

? ? ?? ?? RocketMQ? ?? ??? ?? ?? ??? ? ????. ???? ?? ?? ??? ?? ?? ???? ???? ?????.

??? ???

??? ???? ??? ???? ??? ? ???? ?? ??? ? ??? ?? ???? ?? ?? ?? ???? ???. RocketMQ? ?? ?? ??(1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h)? ?????.
• ?? ??
• RocketMQ? ?? ??? ??? ???? ? ?? ?? ??? ?????. ????? ???? ?? ??? ???? ??? ???? ??? ???? ???. ??? ???? ???? ?? RocketMQ?? ??? ??? ?? ?? ????? ??? ? ? ??? ??? ??? ?????.

?? ???, ??? ???

???? Borker? ???? ????. Borker? ???? ???? ???. RocketMQ? ? ?? ??? ??? ?????.

• ?? ???: Borker? ACK? ????? ??? ? ?????. ???? ???? ??? ???? ????.
• ??? ???: ???? ???? PageCache? ?? ACK? ????? ?????. ?? ?????? ??? ??? ??? ???? ???? ??? ? ????. RocketMQ ???? ???? ???? ???? ????.

?? ??, ??? ??

MQ? ???? ???? ???? ?? ???? ????? ????? ??? ??? ????, ??? ??? ???? ???? ?????.

• oneway: ?? ? ??, ??? ???. ?, ???? ??? ? ? ????? ?? ?? ????.
• ???: ???? ??? ? Borker? ??? ????? ?????.
• ???: ???? ??? ? Boker? ??? ?? ? ?? ?????.

?? ????? ????? RocketMQ? ??? ?????? Borker ??? ????, ?? ??? ??? ??? ?? ??? ???? ??? ????.

??? ?? ???

??? ?? ? MessageQueueSelector? ???? ??? ?? ??? ????? ???? ?? ???.

??? ??? ?? ??? ?? ? ??? ? ????.

public?enum?SendStatus?{
????SEND_OK,
????FLUSH_DISK_TIMEOUT,
????FLUSH_SLAVE_TIMEOUT,
????SLAVE_NOT_AVAILABLE,
}復(fù)制代碼

? ?? ??? ???? ?? ????? ??? ?????. ???? ???? ??? ??? Producer ????? ???? ???. >RetryAnotherBrokerWhenNotStoreOK? true? ?????. RetryAnotherBrokerWhenNotStoreOK為true。

故障規(guī)避機(jī)制

如果消息發(fā)送失敗了，重試的時(shí)候，還是發(fā)送給這個(gè)Borker，那么大概率發(fā)送還是失敗的，RockteMQ設(shè)計(jì)精巧之處在于，重試的時(shí)候，會自動避開這個(gè)Borker，而選擇其他Borker，但是目前為止，異步發(fā)送沒有那么智能，只會在一個(gè)Borker上重試，所以強(qiáng)烈建議選擇同步發(fā)送方式。

RocketMQ提供了兩種故障規(guī)避機(jī)制。用參數(shù)SendLatencyFaultEnable來控制。

• false：默認(rèn)值，只有在重試的時(shí)候，才會啟用故障規(guī)避機(jī)制，比如發(fā)送消息給BorkerA失敗了，重試的時(shí)候，會選擇BorkerB，但是下次發(fā)送消息，還是會選擇發(fā)送給BorkerA。
• true：開啟延遲退避機(jī)制，一旦消息發(fā)送給BorkerA失敗，就會悲觀的認(rèn)為在一段時(shí)間內(nèi)，BorkerA不可用，在將來的一段時(shí)間內(nèi)，不會再向BorkerA發(fā)送消息。

延遲退避機(jī)制看起來很好用，但是一般來說Borker端繁忙，導(dǎo)致Borker不可用或者網(wǎng)絡(luò)不可用只是一瞬間的事情，馬上就可以恢復(fù)，如果開啟了延遲退避機(jī)制，本來可用的Borker在一段時(shí)間內(nèi)卻被規(guī)避了，其他Borker更加繁忙，那可能情況更糟糕。

再談?wù)凜onsumer

Consumer線程注意事項(xiàng)

Consumer有兩個(gè)參數(shù)，可以消費(fèi)的并行度，即ConsumeThreadMin、ConsumeThreadMax，看起來給人的感覺是，如果Consumer端堆積消息比較少，消費(fèi)線程數(shù)為ConsumeThreadMin；如果Consumer端堆積消息比較多，就自動開啟新的線程來消費(fèi)，直到消費(fèi)線程數(shù)為ConsumeThreadMax。但是并不是這樣，Consumer內(nèi)部持有一個(gè)線程池，選用的是無界隊(duì)列，也就是ConsumeThreadMax參數(shù)是無效的，所以在實(shí)際開發(fā)中，ConsumeThreadMin、ConsumeThreadMax往往設(shè)置成一樣。

ConsumeFromWhere

如果查詢不到消費(fèi)進(jìn)度的時(shí)候，Consumer從哪里開始消費(fèi)，RocketMQ支持從最新消息、最早消息、指定時(shí)間戳這三種方式進(jìn)行消費(fèi)。

消費(fèi)消息重試

RocketMQ會為每個(gè)ConsumerGroup都設(shè)置一個(gè)Topic名稱為%RETRY%+consumerGroup的重試隊(duì)列，用來保存需要給ConsumerGroup重試的消息，但是重試需要一定的延時(shí)時(shí)間，RocketMQ對于重試消息的處理是先保存至Topic名稱為SCHEDULE_TOPIC_XXXX的延遲隊(duì)列中，后臺定時(shí)任務(wù)按照對應(yīng)的時(shí)間進(jìn)行Delay后重新保存至%RETRY%+consumerGroup

?? ?? ????

• false: ???, ???? ?? ?? ?? ????? ??????. ?? ?? BorkerA? ???? ??? ? ???? ???? ? BorkerB? ????? ??? ???? ?? ?? ??? ?????. BorkerA? ???????.
• true: ??? ??? ????? ??????. ???? BorkerA? ???? ??? BorkerA? ?? ?? ?? ??? ? ??? ?? ?? ?? ? ?? ???? BorkerA? ???? ?? ???? ????? ?????. ???.
• ??? ??? ????? ?? ??? ? ??? ????? Borker ?? ?? ???? Borker? ??? ? ??? ????? ??? ? ?? ???. ??? ?? ?? ??? ? ????. ??? ????? ??? ?? ?? ??? Borker? ?? ?? ????? ?? Borker? ? ??? ??? ? ??? ? ????.

Consumer? ?? ??????

Consumer ??? ?? ??

ConsumeFromWhere

?? ?? ??? ??? ? ?? ?? ???? ???? ??? ?????? RocketMQ? ?? ???, ?? ?? ??? ? ??? ?????? ??? ?????.

??? ??? ???RocketMQ? ??? ???? ???? ?? ? ConsumerGroup? ?? ?? ??? %RETRY%+consumerGroup? ??? ???? ?????. ConsumerGroup? ?????? ?? ?? ??? ?????. RocketMQ? ?? ??? ???? SCHEDULE_TOPIC_XXXX ?? ???? ?? ???? ???? ?????. ?? ?? %RETRY%+consumerGroup? ??? ???? ?? ?????. ???? ?? ?? ??? ??? ?? ??? ?? ???? ?? ???? ??? ?? ?? ?? ?????. ???????? ???? ???? ?????. ?????? Consumer? ?? ??? ?? ???? ?? ?? ? ??? "??"? ? ?? ConsumerGroup? ?? ??? ??? ???? ??? ???. ??????? ?? ??? ConsumerGroup? ???. ?, ? ?? ConsumerGroup? ??? Topic? ????? ??? ??? ???? ???. ?? ?? ConsumerGroup? ?? ???? ???? ConsumerGroup? ?????. ??? ??? ??????. ???????? ??? ???? ?? ???? ? ? ?? ?? ?????, ??? ??? ????? ??? RocketMQ? ?? ???? ?? ???? ???? ? ???? RocketMQ? ?????. ? ? ?????? ?????? ???? RocketMQ? ?? ?? ??? ?? ???? ???? ??? ? ??? ?? ????? ??? ???? ??? '?? ???? ? ?????'?? ??? ?? ?????. ? ?? ????? ??? ??? ???? ?? ?? API? ???? ???? ??? API ??? ?? ???? ???? ? ? ????. 2? ?? ???? ?? ????. ????End?????????? ?? ?? ????: ??????java ?? ??????????

? ??? ??? ????...RocketMQ ?? ?? ?? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!