In diesem Artikel geht es um drei h?ufige Cache-Anomalien in Redis: Cache-Penetration, Cache-Aufschlüsselung und Cache-Lawine. Ich hoffe, dass es für alle hilfreich ist.

Verwandte Empfehlungen: ?Lassen Sie uns gemeinsam die Redis-Cache-Konsistenz, Cache-Penetration, Cache-Aufschlüsselung und Cache-Lawine-Probleme analysieren“

Cache-Penetration, Cache-Aufschlüsselung und Cache-Lawine sind Redis-Interviews und tats?chlich W?hrend der Entwicklung ist dies der Fall ist eine Frage, die oft berücksichtigt werden muss. Viele Menschen sind sich immer noch nicht im Klaren über den Ursprung, die Ursache und die L?sung dieses Problems. Tats?chlich k?nnen wir für diese drei Situationen eine gute L?sung finden, indem wir das generierte Prinzip sorgf?ltig analysieren. [Verwandte Empfehlungen: Redis-Video-Tutorial]

Dieser Artikel hilft Ihnen, diese drei Probleme anhand von Definitionen, F?llen, Gefahren und L?sungen schnell zu verstehen.

Ich glaube, Sie haben im Internet viele L?sungen für diese drei Probleme gesehen. Sind einige davon richtige L?sungen? In diesem Artikel werden auch die Vor- und Nachteile solcher L?sungen einzeln analysiert. 正確的方案呢？本文也將一一分析此類方案的優(yōu)缺點。

下圖為本文的內容大綱，文章也是圍繞這幾點進行分析與總結。

三者比較

• 緩存穿透、緩存擊穿和緩存雪崩都是因為緩存中數(shù)據(jù)不存在，導致走數(shù)據(jù)庫去查詢數(shù)據(jù)。

• 由于緩存數(shù)據(jù)不存在，所有的請求都會走到數(shù)據(jù)庫，因此會導致數(shù)據(jù)庫的壓力過大甚至出現(xiàn)服務崩潰，導致整個系統(tǒng)無法使用。

緩存穿透

定義：緩存穿透是由于客戶端求的數(shù)據(jù)在緩存中不存在，然后去查詢數(shù)據(jù)庫，然而數(shù)據(jù)庫沒有客戶端要查詢的數(shù)據(jù)，導致每一次請求都會走數(shù)據(jù)庫查詢操作。真正的問題在于該數(shù)據(jù)本身就是不存在的。

舉例：客戶端請求商品詳情信息時，攜帶一個商品ID，此時該商品ID是不存在的(不管是緩存中還是數(shù)據(jù)庫中)。導致每一次請求該ID商品的數(shù)據(jù)信息都會走數(shù)據(jù)庫。

危害：由于請求的參數(shù)對應的數(shù)據(jù)根本不存在，會導致每一次都會請求數(shù)據(jù)庫，增加數(shù)據(jù)庫的壓力或者服務崩潰，更有甚至影響到其他的業(yè)務模塊。經常發(fā)生在用戶惡意請求的情況下會發(fā)生。

解決方案：

1、根據(jù)請求的參數(shù)緩存一個null值。并且為該值設置一個過期時間，可以將時間設置短暫一點。

2、使用布隆過濾器，首先通過布隆過濾器進行篩選，如果在過濾器中存在則去查詢數(shù)據(jù)庫，然后添加到緩存中。如果不存在則直接返回客戶端數(shù)據(jù)不存在。

3、由于緩存穿透可能是用戶發(fā)起惡意請求，可以將用戶ip給記錄下來，針對惡意的ip請求進行封禁。

方案分析：

• 第一種方案，針對不存在的key，會緩存一個空的值。假設這樣的請求特別多，是否都會一一去設置一個空值的緩存，此時Redis中就存在大量無效的緩存空值。假設這樣的key是商品或者文章類的ID，我們在設置空值之后，如果后臺添加數(shù)據(jù)應該去更新ID對應的緩存值，并設置一個合理的過期時間。

• 第二種方案，也是業(yè)界使用最多的一種方案。布隆過濾器的優(yōu)點在于基于Redis實現(xiàn)，內存操作并且底層的實現(xiàn)也是非常節(jié)約內存。 當后臺添加數(shù)據(jù)成功時，將該數(shù)據(jù)的ID添加到布隆過濾器中，前端在請求時先走布隆過濾器進行驗證是否存在。但布隆過濾器也存在一個弊端，就是hash沖突問題。這里的hash沖突是什么意思呢？就是說多個ID在進行hash計算時，得到的hash位都是同一個值，這就導致在驗證是否存在時誤判。本身是有的，得到的結果是沒有。布隆過濾器的一個弊端就是，它說有并不一定有，它說沒有就一點是沒有的。

  Das Bild unten zeigt die Gliederung dieses Artikels. Der Artikel analysiert und fasst auch diese Punkte zusammen.



• Vergleich der drei

Cache-Penetration, Cache-Zusammenbruch und Cache-Lawine werden alle dadurch verursacht, dass die Daten im Cache nicht vorhanden sind, was dazu führt, dass die Datenbank zum Abfragen der Daten verwendet wird.

Da die zwischengespeicherten Daten nicht vorhanden sind, werden alle Anfragen an die Datenbank gesendet, was zu einer überm??igen Belastung der Datenbank oder sogar zu einem Dienstabsturz führt, wodurch das gesamte System unbrauchbar wird. ??????

??Cache-Penetration??

??Definition: Cache-Penetration liegt daran, dass sich die vom Client angeforderten Daten nicht im Cache befinden existiert und fragt dann die Datenbank ab. Die Datenbank verfügt jedoch nicht über die Daten, die der Client abfragen m?chte, was dazu führt, dass jede Anfrage einen Datenbankabfragevorgang durchl?uft. Das eigentliche Problem ist, dass die Daten selbst nicht existieren. ????Beispiel: Wenn der Kunde Produktdetails anfordert, tr?gt er eine Produkt-ID. Zu diesem Zeitpunkt ist die Produkt-ID nicht vorhanden (weder im Cache noch in der Datenbank). Daher werden die Daten des Produkts mit dieser ID jedes Mal, wenn sie angefordert werden, in die Datenbank übernommen. ????Gefahren: Da die den angeforderten Parametern entsprechenden Daten überhaupt nicht vorhanden sind, wird die Datenbank jedes Mal angefordert, was den Druck auf die Datenbank erh?ht oder den Dienst abstürzt und sogar andere Gesch?ftsmodule beeintr?chtigt. Dies geschieht h?ufig, wenn Benutzer b?swillige Anfragen stellen. ??????L?sung: ??????1. Cachen Sie einen Nullwert basierend auf den angeforderten Parametern. Und legen Sie eine Ablaufzeit für diesen Wert fest. Sie k?nnen die Zeit auch kürzer einstellen. ????2. Verwenden Sie den Bloom-Filter. Wenn er im Filter vorhanden ist, fragen Sie ihn ab und fügen Sie ihn dann dem Cache hinzu. Wenn sie nicht vorhanden sind, wird direkt zurückgegeben, dass die Clientdaten nicht vorhanden sind. ????3. Da das Eindringen in den Cache durch Benutzer verursacht werden kann, die b?swillige Anfragen initiieren, kann die Benutzer-IP aufgezeichnet und b?swillige IP-Anfragen blockiert werden. ?????? L?sungsanalyse: ????

????Die erste L?sung speichert einen leeren Wert für einen nicht vorhandenen Schlüssel zwischen. Angenommen, es gibt zu viele solcher Anfragen. Werden sie alle nacheinander einen Cache mit Nullwerten festlegen? Zu diesem Zeitpunkt gibt es in Redis eine gro?e Anzahl ungültiger Cache-Nullwerte. Unter der Annahme, dass ein solcher Schlüssel die ID eines Produkts oder Artikels ist, sollten wir nach dem Festlegen des Nullwerts, wenn Daten im Hintergrund hinzugefügt werden, den der ID entsprechenden Cache-Wert aktualisieren und eine angemessene Ablaufzeit festlegen. ????????Die zweite L?sung ist auch die am h?ufigsten verwendete L?sung in der Branche. Der Vorteil des Bloom-Filters besteht darin, dass er auf der Redis-Implementierung und dem Speicherbetrieb basiert und die zugrunde liegende Implementierung auch sehr speichersparend ist. Wenn Daten im Hintergrund erfolgreich hinzugefügt werden, wird die ID der Daten zum Bloom-Filter hinzugefügt, und das Frontend durchl?uft bei der Anforderung zun?chst den Bloom-Filter, um zu überprüfen, ob er vorhanden ist. Aber Bloom-Filter haben auch einen Nachteil, n?mlich das Problem des Hash-Konflikts. Was bedeutet hier der Hash-Konflikt? Das hei?t, wenn mehrere IDs gehasht werden, haben die erhaltenen Hash-Bits denselben Wert, was zu Fehleinsch?tzungen bei der überprüfung ihrer Existenz führt. Es ist etwas an sich, aber das Ergebnis enth?lt nichts. Einer der Nachteile des Bloom-Filters besteht darin, dass er nicht unbedingt existiert, wenn er sagt, dass er existiert, und dass er bedeutet, dass er nicht existiert, wenn er nicht existiert. ????????Die dritte M?glichkeit besteht darin, innerhalb eines bestimmten Zeitraums eine gro?e Anzahl von Anfragen für denselben Benutzer zu initiieren und so den Cache-Penetrationsmechanismus auszul?sen. Zu diesem Zeitpunkt k?nnen wir den Zugriff des Clients anzeigen. Wenn der Angreifer jedoch einen DDOS-Angriff startet, kann er solche Angriffe nicht vollst?ndig vermeiden, sodass diese L?sung keine gute L?sung ist. ?????????? Zusammenfassung des Plans: ????

• Wir fügen zun?chst die dritte L?sung auf Anforderungsebene hinzu und erstellen einen aktuellen Begrenzungsmechanismus und einen IP-Blacklist-Mechanismus, um einige b?swillige Anforderungen zu kontrollieren. Bei Fehleinsch?tzungen k?nnen wir Vorg?nge wie die IP-Entsperrung implementieren. Die Cache-Schicht wird mit der ersten L?sung implementiert. Legen Sie eine angemessene Cache-Zeit fest.

• Für Gesch?ftsszenarien, die Fehleinsch?tzungen tolerieren k?nnen, k?nnen Sie direkt die zweite L?sung verwenden. Vollst?ndig auf Redis basierend, wodurch die Systemkomplexit?t reduziert wird.

Cache-Ausfall

Definition: Ein Cache-Ausfall liegt daran, dass kein Hotspot-Schlüssel vorhanden ist, was zu einer Datenbankabfrage führt. Erh?hter Druck auf die Datenbank. Dieser Druck kann vorübergehend oder l?nger anhaltend sein. 真正的問題在于該key是存在，只是緩存中不存在，導致走數(shù)據(jù)庫操作.

Zum Beispiel: Es gibt ein beliebtes Produkt. Wenn Benutzer Produktdetails anzeigen, tragen sie die Produkt-ID, um Produktdetails zu erhalten. Zu diesem Zeitpunkt sind die Daten im Cache abgelaufen, sodass alle eingehenden Anforderungen zur Abfrage an die Datenbank gesendet werden müssen.

Gefahren: Im Vergleich zur Cache-Penetration sind die Daten in der Datenbank vorhanden, aber da der Cache abgelaufen ist, müssen sie einmal in die Datenbank gehen und dann dem Cache hinzugefügt werden, und die n?chste Anfrage kann in den Cache gehen normalerweise. Der sogenannte Schaden richtet sich auch auf die Datenbankebene.

L?sung:

1. Fügen Sie eine Mutex-Sperre hinzu. Bei der ersten Anfrage wurde festgestellt, dass sich keine Daten im Cache befanden. Zu diesem Zeitpunkt wurde die Abfragedatenbank zum Cache hinzugefügt. Auf diese Weise müssen nachfolgende Anfragen keine Datenbankabfragen durchlaufen.

2. Erh?hen Sie die Ablaufzeit der Gesch?ftslogik. Beim Einrichten des Caches k?nnen wir eine Cache-Ablaufzeit hinzufügen. Treffen Sie bei jedem Lesen eine Beurteilung. Wenn die Ablaufzeit kürzer als die aktuelle Zeit ist, l?sen Sie einen Hintergrundthread aus, rufen Sie die Daten ab und aktualisieren Sie dann die zwischengespeicherten Daten und die zwischengespeicherte Ablaufzeit. Tats?chlich besteht das Prinzip darin, die Cache-Dauer für den Cache auf Codeebene zu verl?ngern.

3. Datenaufw?rmen. Implementieren Sie das Hinzufügen von Daten zum Cache über den Hintergrund. Bevor beispielsweise die Flash-Sale-Szene beginnt, wird der Bestand des Produkts dem Cache hinzugefügt, sodass er bei einer Benutzeranfrage direkt in den Cache verschoben wird.

4. L?uft nie ab. Wenn Sie eine Ablaufzeit für den Cache festlegen, achten Sie darauf, dass dieser niemals abl?uft. Im Hintergrund wird ein separater Thread ge?ffnet, um die Ablaufzeit und Datenaktualisierungen dieser Caches aufrechtzuerhalten.

Projektanalyse:

• Die Mutex-Sperre stellt sicher, dass nur eine Anfrage an die Datenbank geht, was ein Vorteil ist. Bei verteilten Systemen werden jedoch verteilte Sperren verwendet, um verteilte Sperren zu implementieren. Die Implementierung verteilter Sperren selbst weist gewisse Schwierigkeiten auf, was die Komplexit?t des Systems erh?ht.

• Die zweite L?sung wird durch die Verwendung von Redis implementiert, um Ablauf und Gesch?ftsablauf zu verhindern. Dadurch wird sichergestellt, dass bei jeder Anfrage Daten abgerufen werden k?nnen und auch ein Hintergrundthread zur Aktualisierung der Daten genutzt werden kann. Der Nachteil besteht darin, dass der Hintergrundthread die Aktualisierung der Daten zu diesem Zeitpunkt noch nicht abgeschlossen hat. Bei den angeforderten Daten handelt es sich um alte Daten, was in Gesch?ftsszenarien mit hohen Echtzeitanforderungen Nachteile haben kann.

• Die dritte L?sung besteht darin, bei jedem Laden die Cache-Vorw?rmung und den Cache zu verwenden, was der zweiten L?sung ?hnelt. Allerdings besteht auch das Problem der Hot-Data-Aktualisierung, sodass diese L?sung für Daten geeignet ist, die keine hohen Echtzeitdaten erfordern.

• Die vierte L?sung ?hnelt der zweiten und dritten L?sung. Auf dieser Grundlage wurden bestimmte Optimierungen vorgenommen, indem asynchrone Hintergrundthreads verwendet werden, um zwischengespeicherte Daten aktiv zu aktualisieren. Die Schwierigkeit besteht darin, die H?ufigkeit der Aktualisierungen zu kontrollieren.

Zusammenfassung der L?sung:

• Für Daten mit hohen Echtzeitanforderungen wird empfohlen, die erste L?sung zu verwenden. Obwohl sie technisch schwierig ist, kann damit eine Echtzeitverarbeitung der Daten erreicht werden. Wenn einige Anfragen lange warten, kann eine Ausnahme zurückgegeben werden und der Client kann die Anfrage erneut senden.

• Für Daten, die keine hohe Echtzeitleistung erfordern, k?nnen Sie die vierte Option verwenden.

Cache-Lawine

Definition: Wie bereits erw?hnt, liegt ein Cache-Ausfall daran, dass ein bestimmter Hotkey im Cache fehlschl?gt, was dazu führt, dass eine gro?e Anzahl von Anfragen an die Datenbank gesendet wird. Die Cache-Lawine ist jedoch tats?chlich dieselbe, aber diese ist schwerwiegender. Die meisten zwischengespeicherten Schlüssel sind ungültig und nicht ein oder zwei Schlüssel.

Beispiel: In einem E-Commerce-System sind die Produktdaten einer bestimmten Kategorie im Cache ungültig. Allerdings beziehen sich viele Anfragen des aktuellen Systems auf Produktdaten in dieser Kategorie. Dies führt dazu, dass alle Anfragen Datenbankabfragen durchlaufen.

Gefahren: Aufgrund des gleichzeitigen Zustroms einer gro?en Anzahl von Anfragen muss jede Anfrage in der Datenbank abgefragt werden. Der unmittelbare Zufluss von Datenverkehr in die Datenbank erh?ht die Belastung der Datenbank erheblich und kann leicht zu einer direkten Datenbankl?hmung führen.

L?sung:

1. Die Cache-Zeit ist zuf?llig. Da eine gro?e Anzahl von Caches zu einem bestimmten Zeitpunkt abl?uft, bedeutet dies, dass die Cache-Ablaufzeit relativ konzentriert ist. Wir stellen die Ablaufzeit direkt auf unkonzentriert und zuf?llig ein. Auf diese Weise wird die Cache-Ablaufzeit nicht sehr konzentriert und es wird nicht gleichzeitig eine gro?e Anzahl von Abfragevorg?ngen an die Datenbank gesendet.

2. Mehrstufiger Cache. Anstatt sich beim Caching einfach auf Redis zu verlassen, k?nnen wir auch memcached zum Caching verwenden (hier nur ein Beispiel, es k?nnen auch andere Caching-Dienste verwendet werden). Erstellen Sie beim Zwischenspeichern von Daten einen Cache für Redis und einen Cache für Memcached. Wenn Redis fehlschl?gt, k?nnen wir Memcached verwenden.

3. Mutex-Sperre. Bei der Cache-Aufschlüsselung haben wir die Verwendung von Mutex-Sperren erw?hnt, und wir k?nnen sie auch im Falle einer Lawine verwenden.

4. Ablaufflag setzen. Tats?chlich k?nnen Sie auch die in der Cache-Aufschlüsselung erw?hnte permanente Nicht-Ablaufzeit verwenden. Bei der Anforderung wird die Ablaufzeit ermittelt. Wenn die Ablaufzeit naht, wird ein Ablaufflag gesetzt und ein unabh?ngiger Thread zur Aktualisierung des Caches ausgel?st.

Projektanalyse:

• Die erste L?sung verwendet Zufallszahlen-Cache-Zeit, um sicherzustellen, dass die Schlüsselablaufzeit verteilt wird. Die Schwierigkeit besteht darin, die Cache-Zeit festzulegen. Für einige Daten, die eine kurze Cache-Zeit und eine sehr gro?e Datenmenge erfordern, erfordert diese L?sung eine angemessene Kontrolle der Zeit.

• Die zweite L?sung verwendet einen mehrstufigen Cache, der sicherstellen kann, dass alle Anfragen zwischengespeichert werden. Dies erh?ht jedoch die architektonische Schwierigkeit des Systems und verschiedene andere Probleme, wie z. B. das Zwischenspeichern mehrstufiger Aktualisierungen.

• Die dritte L?sung verwendet Mutex-Sperren. Wir haben Mutex-Sperren in der Cache-Aufschlüsselung erw?hnt. Obwohl wir sie in Lawinenszenarien verwenden k?nnen, wird dies eine gro?e Anzahl verteilter Sperren erzeugen.

• Die vierte L?sung verwendet logische Cache-Zeit, die den Cache-Druck des Systems gut garantiert.

Zusammenfassung des Plans:

In tats?chlichen Projekten wird empfohlen, den 1., 2. und 4. Plan zum Ausprobieren zu verwenden, was besser ist.

Zusammenfassung

• Die Cache-Penetration ist darauf zurückzuführen, dass die Datenbank selbst nicht über die Daten verfügt.

• Cache-Aufschlüsselung und Cache-Lawine bedeuten, dass die Daten in der Datenbank vorhanden sind, die Daten im Cache jedoch ungültig sind, was dazu führt, dass die Datenbank erneut abgefragt und dann dem Cache hinzugefügt wird.

• Cache-Ausfall tritt bei einigen Hotkeys auf, w?hrend Cache-Avalanche ein gro?fl?chiger Cache-Fehler ist. Die beiden Prinzipien sind eigentlich gleich, au?er dass die Aufteilung der Cache-Schlüssel unterschiedlich ist.

Weitere Kenntnisse zum Thema Programmierung finden Sie unter: Einführung in die Programmierung! !

Das obige ist der detaillierte Inhalt vonAnalysieren Sie Hotkey-Speicherprobleme in Redis und sprechen Sie über L?sungen für Cache-Ausnahmen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!