Redis, en tant que technologie grand public, a de nombreux scénarios d'application. De nombreux entretiens avec des usines de grande, moyenne et petite taille l'ont répertorié comme un contenu clé de l'inspection

Il y a quelques jours, alors qu'un ami de Planet étudiait, il l'a rencontré. les questions suivantes et suis venu consulter Tom

Considérant que ces problèmes sont relativement fréquents et souvent rencontrés au travail, je vais écrire un article pour les expliquer systématiquement

Description du problème:

Réponse?:

En tant qu'accélérateur de performances, le cache distribué joue un r?le très important dans l'optimisation du système. Par rapport au cache local, bien qu'il ajoute une transmission réseau et prenne moins d'1 milliseconde, il présente l'avantage d'une gestion centralisée et prend en charge une très grande capacité de stockage.

Dans le domaine du cache distribué, Redis est actuellement largement utilisé. Ce framework est un stockage en mémoire pur, une exécution de commandes monothread, des structures de données sous-jacentes riches et une prise en charge du stockage de données et de la recherche dans plusieurs dimensions.

Bien s?r, avec une grande quantité de données, divers problèmes surviennent, tels que?: le biais de données, les points chauds de données, etc.

Qu'est-ce que le biais de données??

La configuration matérielle d'une seule machine a une limite supérieure. Généralement, nous utiliserons une architecture distribuée pour former un cluster de plusieurs machines. Le cluster dans l'image ci-dessous est composé de trois machines autonomes Redis. Le client transmet les demandes de lecture et d'écriture à des instances spécifiques via une certaine stratégie de routage.

En raison de la particularité des données métier, selon les règles de partitionnement spécifiées, les données sur différentes instances peuvent être inégalement réparties. Une grande quantité de données est concentrée sur un ou plusieurs n?uds de machine pour le calcul, ce qui entra?ne une charge importante. ces n?uds l'ont fait tandis que d'autres n?uds attendent inactifs, ce qui entra?ne une faible efficacité globale.

Quelles sont les raisons du biais des données??

1. Il existe une grande clé

Par exemple, stocker une ou plusieurs données bigKey de type String prend beaucoup de mémoire.

Frère Tom a déjà étudié ce problème afin d'éviter des problèmes lors du développement, un collègue a utilisé le format JSON pour fusionner plusieurs données commerciales en une seule valeur et n'a associé qu'une seule clé. la paire a atteint des centaines de M.

La lecture et l'écriture fréquentes de clés volumineuses consomment de lourdes ressources mémoire et exercent une forte pression sur la transmission réseau, ce qui à son tour ralentit la réponse à la demande, déclenche un effet d'avalanche et finalement provoque diverses alarmes d'expiration du système.

Solution :

La méthode est très simple, utilisez <code style='font-family: SFMono-Regular, Consolas, "Liberation Mono", Menlo, Courier, monospace;background-color: rgba(0, 0, 0, 0.06);border-width: 1px;border-style: solid;border-color: rgba(0, 0, 0, 0.08);border-radius: 2px;padding-right: 2px;padding-left: 2px;'><span style="font-size: 16px;">化整為零</span>的策略，將一個bigKey拆分為多個小key，獨立維護(hù)，成本會降低很多。當(dāng)然這個拆也講究些原則，既要考慮業(yè)務(wù)場景也要考慮訪問場景，將關(guān)聯(lián)緊密的放到一起。

比如：有個RPC接口內(nèi)部對 Redis 有依賴，之前訪問一次就可以拿到全部數(shù)據(jù)，拆分將要控制單值的大小，也要控制訪問的次數(shù)，畢竟調(diào)用次數(shù)增多了，會拉大整體的接口響應(yīng)時間。

浙江的政府機(jī)構(gòu)都在提倡優(yōu)化流程，最多跑一次，都是一個道理。

2、HashTag 使用不當(dāng)

Redis 采用單線程執(zhí)行命令，從而保證了原子性。當(dāng)采用集群部署后，為了解決mset、lua 腳本等對多key 批量操作，為了保證不同的 key 能路由到同一個 Redis 實例上，引入了 HashTag 機(jī)制。

用法也很簡單，使用<span style="font-size: 16px;">{}</span>le diviser en plusieurs partiesLa stratégie consiste à diviser une bigKey en plusieurs petites clés et à les maintenir indépendamment, ce qui réduira considérablement le co?t. Bien entendu, ce démontage tient également compte de certains principes. Il est nécessaire de considérer à la fois les scénarios commerciaux et les scénarios d'accès, et de les rapprocher.

Par exemple?: il existe une interface RPC qui a une dépendance interne à Redis. Auparavant, toutes les données pouvaient être obtenues en y accédant une fois. Le fractionnement contr?lerait la taille de la valeur unique et le nombre d'accès. , l'augmentation du nombre d'appels entra?nera un problème de temps de réponse global important de l'interface.

192.168.0.1:6380> CLUSTER KEYSLOT testtag
(integer) 764
192.168.0.1:6380> CLUSTER KEYSLOT {testtag}
(integer) 764
192.168.0.1:6380> CLUSTER KEYSLOT mykey1{testtag}
(integer) 764
192.168.0.1:6380> CLUSTER KEYSLOT mykey2{testtag}
(integer) 764

0 到 5460 號哈希槽，

包含 ?到 16383 號哈希槽。

一致性哈希算法是1997年麻省理工學(xué)院的 Karger 等人提出了，為的就是解決分布式緩存的問題。

L'algorithme de hachage cohérent atténue considérablement le problème de défaillance du cache causé par l'expansion ou le rétrécissement et n'affecte que le petit segment de clés dont ce n?ud est responsable. S'il n'y a pas beaucoup de machines dans le cluster et que le niveau de charge d'une seule machine est généralement très élevé, la pression provoquée par le temps d'arrêt d'un certain n?ud peut facilement déclencher un effet d'avalanche.

Par exemple?:

Le cluster Redis compte un total de 4 machines En supposant que les données soient réparties uniformément, chaque machine supporte un quart du trafic si une certaine machine arrive soudainement. se bloque, la machine suivante dans le sens des aiguilles d'une montre supportera le quart de trafic supplémentaire, et éventuellement la moitié du trafic, ce qui fait encore un peu peur.

Mais si vous utilisez <span style="font-size: 16px;">CRC16</span>CRC16 Après le calcul, combiné à la relation de liaison entre les slots et les instances, qu'il s'agisse d'une extension ou d'une réduction, seule la clé du n?ud correspondant doit être migrée en douceur, et la nouvelle relation de mappage de slot sera diffusée et stockée sans générant une invalidation du cache, une grande flexibilité.

De plus, s'il existe des différences dans les configurations des n?uds de serveur, nous pouvons personnaliser les numéros d'emplacement attribués aux différents n?uds et ajuster les capacités de charge des différents n?uds, ce qui est très pratique.