Backend-Entwicklung
Golang
Skalierung der Funktionen von Zensearch, um die gesamte Datenbank abzufragen
Skalierung der Funktionen von Zensearch, um die gesamte Datenbank abzufragen
Nov 14, 2024 pm 12:08 PM
Zuvor konnte ich problemlos Webseiten für meine Suchmaschine crawlen und indizieren, bis meine Datenbank st?rker wuchs, als die Nachrichtenwarteschlange von RabbitMQ aufnehmen konnte. Wenn eine Nachricht in einer Nachrichtenwarteschlange ihre Standardgr??e überschreitet, gibt RabbitMQ einen Fehler aus und ger?t in Panik. Ich k?nnte die Standardgr??e ?ndern, aber das würde sich nicht skalieren, wenn meine Datenbank w?chst, damit Benutzer Webseiten ohne Bedenken crawlen k?nnen Der Nachrichtenbroker stürzt ab.
Segmente erstellen
Ich habe eine Funktion zum Erstellen von Segmenten mit einer maximalen Segmentgr??e oder MSS nach den gleichen Prinzipien von TCP implementiert. Beim Erstellen von Segmenten enth?lt das Segment einen 8-Byte-Header, wobei jedes 4 Byte des 8-Byte-Headers die Sequenznummer ist und die Gesamtsegmentanzahl und der Rest des K?rpers ist die Nutzlast der segmentierten Datenbank.
// MSS is number in bytes
function createSegments(
webpages: Array<Webpage>, // webpages queried from database
MSS: number,
): Array<ArrayBufferLike> {
const text_encoder = new TextEncoder();
const encoded_text = text_encoder.encode(JSON.stringify(webpages));
const data_length = encoded_text.byteLength;
let currentIndex = 0;
let segmentCount = Math.trunc(data_length / MSS) + 1; // + 1 to store the remainder
let segments: Array<ArrayBufferLike> = [];
let pointerPosition = MSS;
for (let i = 0; i < segmentCount; i++) {
let currentDataLength = Math.abs(currentIndex - data_length);
let slicedArray = encoded_text.slice(currentIndex, pointerPosition);
currentIndex += slicedArray.byteLength;
// Add to offset MSS to point to the next segment in the array
// manipulate pointerPosition to adjust to lower values using Math.min()
// Is current data length enough to fit MSS?
// if so add from current position + MSS
// else get remaining of the currentDataLength
pointerPosition += Math.min(MSS, currentDataLength);
const payload = new Uint8Array(slicedArray.length);
payload.set(slicedArray);
segments.push(newSegment(i, segmentCount, Buffer.from(payload)));
}
return segments;
}
function newSegment(
sequenceNum: number,
segmentCount: number,
payload: Buffer,
): ArrayBufferLike {
// 4 bytes for sequenceNum 4 bytes for totalSegmentsCount
const sequenceNumBuffer = convertIntToBuffer(sequenceNum);
const segmentCountBuffer = convertIntToBuffer(segmentCount);
const headerBuffer = new ArrayBuffer(8);
const header = new Uint8Array(headerBuffer);
header.set(Buffer.concat([sequenceNumBuffer, segmentCountBuffer]));
return Buffer.concat([header, payload]);
}
function convertIntToBuffer(int: number): Buffer {
const bytes = Buffer.alloc(4);
bytes.writeIntLE(int, 0, 4);
console.log(bytes);
return bytes;
}
Analysieren eingehender Segmente
Diese Methode zum Erstellen kleiner Segmente eines gro?en Datensatzes würde dazu beitragen, die Datenbankabfrage zu skalieren, selbst wenn die Datenbank w?chst.
Wie analysiert nun die Suchmaschine den Puffer und wandelt jedes Segment in ein Webseiten-Array um?
Lesen aus Segmentpuffern
Extrahieren Sie zun?chst den Segment-Header, da der Header zwei Eigenschaften enth?lt, n?mlich Sequenznummer und Gesamtsegmente,
func GetSegmentHeader(buf []byte) (*SegmentHeader, error) {
byteReader := bytes.NewBuffer(buf)
headerOffsets := []int{0, 4}
newSegmentHeader := SegmentHeader{}
for i := range headerOffsets {
buffer := make([]byte, 4)
_, err := byteReader.Read(buffer)
if err != nil {
return &SegmentHeader{}, err
}
value := binary.LittleEndian.Uint32(buffer)
// this feels disgusting but i dont feel like bothering with this
if i == 0 {
newSegmentHeader.SequenceNum = value
continue
}
newSegmentHeader.TotalSegments = value
}
return &newSegmentHeader, nil
}
func GetSegmentPayload(buf []byte) ([]byte, error) {
headerOffset := 8
byteReader := bytes.NewBuffer(buf[headerOffset:])
return byteReader.Bytes(), nil
}
Abwicklung der erneuten übertragung und erneuten Warteschlangeneinteilung von Segmenten
Die Sequenznummer wird für die Neuübertragung/Neueinreihung der Segmente verwendet. Wenn also die erwartete Sequenznummer nicht mit der empfangenen übereinstimmt, stellen Sie jedes Segment, beginnend mit dem aktuellen, erneut in die Warteschlange.
// for retransmission/requeuing
if segmentHeader.SequenceNum != expectedSequenceNum {
ch.Nack(data.DeliveryTag, true, true)
log.Printf("Expected Sequence number %d, got %d\n",
expectedSequenceNum, segmentHeader.SequenceNum)
continue
}
Anh?ngen von Segmentnutzlasten
Das Gesamtsegment wird zum Ausbrechen des Abh?rens des Produzenten (Datenbankdienst) verwendet, wenn die Gesamtzahl der von der Suchmaschine empfangenen Segmente gleich der L?nge der Gesamtsegmente ist, die vom Datenbankdienst gesendet werden sollen Brechen Sie dann den aggregierten Segmentpuffer aus und analysieren Sie ihn. Wenn nicht, h?ren Sie weiter zu und h?ngen Sie den Segment-Nutzlastpuffer an einen Webseitenpuffer an, um Bytes aus allen eingehenden Segmenten zu speichern.
segmentCounter++
fmt.Printf("Total Segments : %d\n", segmentHeader.TotalSegments)
fmt.Printf("current segments : %d\n", segmentCounter)
expectedSequenceNum++
ch.Ack(data.DeliveryTag, false)
webpageBytes = append(webpageBytes, segmentPayload...)
fmt.Printf("Byte Length: %d\n", len(webpageBytes))
if segmentCounter == segmentHeader.TotalSegments {
log.Printf("Got all segments from Database %d", segmentCounter)
break
}
Ich verwende übrigens vim
Vielen Dank, dass Sie zu meinem Ted-Vortrag gekommen sind. Ich werde weitere Funktionen und Korrekturen für Zensearch implementieren.
Das obige ist der detaillierte Inhalt vonSkalierung der Funktionen von Zensearch, um die gesamte Datenbank abzufragen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Hei?e KI -Werkzeuge
Undress AI Tool
Ausziehbilder kostenlos
Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos
AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.
Clothoff.io
KI-Kleiderentferner
Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem v?llig kostenlosen KI-Gesichtstausch-Tool aus!
Hei?er Artikel
Hei?e Werkzeuge
Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor
SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen
Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung
Dreamweaver CS6
Visuelle Webentwicklungstools
SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)
Ist Golang Frontend oder Backend
Jul 08, 2025 am 01:44 AM
Golang wird haupts?chlich für die Back-End-Entwicklung verwendet, kann aber auch eine indirekte Rolle im Front-End-Bereich spielen. Die Konstruktionsziele konzentrieren sich auf leistungsstarke, gleichzeitige Programmierungen und Systeme auf Systemebene und eignen sich zum Erstellen von Back-End-Anwendungen wie API-Servern, Microservices, verteilten Systemen, Datenbankoperationen und CLI-Tools. Obwohl Golang nicht die Mainstream-Sprache für das Web-Front-End ist, kann er über Gopherjs in JavaScript zusammengestellt werden, auf WebAssembly über Tinygo ausgeführt werden oder HTML-Seiten mit einer Vorlagenmotor zur Teilnahme an der Front-End-Entwicklung erzeugen. Die moderne Front-End-Entwicklung muss jedoch noch auf JavaScript/Typecript und sein ?kosystem beruhen. Daher eignet sich Golang besser für die Auswahl der Technologiestapel mit Hochleistungs-Backend als Kern.
So installieren Sie sich
Jul 09, 2025 am 02:37 AM
Der Schlüssel zur Installation von GO besteht darin, die richtige Version auszuw?hlen, Umgebungsvariablen zu konfigurieren und die Installation zu überprüfen. 1. Gehen Sie zur offiziellen Website, um das Installationspaket des entsprechenden Systems herunterzuladen. Windows verwendet .msi -Dateien, macOS. PKG -Dateien, Linux verwendet .tar.gz -Dateien und entpackt sie in /usr /lokales Verzeichnis. 2. Konfigurieren Sie Umgebungsvariablen, bearbeiten Sie ~/.bashrc oder ~/.zshrc in Linux/macOS, um Pfad und GOPath hinzuzufügen, und Windows -Set -Pfad, um die Systemeigenschaften zu verfolgen. 3.. Verwenden Sie das Regierungsbefehl, um die Installation zu überprüfen, und führen Sie das Testprogramm Hello.go aus, um zu best?tigen, dass die Zusammenstellung und Ausführung normal ist. Pfadeinstellungen und Schleifen w?hrend des gesamten Prozesses
So erstellen Sie eine GraphQL -API in Golang
Jul 08, 2025 am 01:03 AM
Um ein GraphQLAPI in Go zu erstellen, wird empfohlen, die GQLGen -Bibliothek zur Verbesserung der Entwicklungseffizienz zu verwenden. 1. W?hlen Sie zun?chst die entsprechende Bibliothek wie GQLGen aus, die die automatische Codegenerierung basierend auf dem Schema unterstützt. 2. Definieren Sie dann GraphQlSchema, beschreiben Sie das API -Struktur und das Abfrageportal, z. B. das Definieren von Post -Typen und Abfragemethoden; 3. Initialisieren Sie dann das Projekt und generieren Sie grundlegende Code, um die Gesch?ftslogik in Resolver zu implementieren. 4. Schlie?lich verbinden Sie GraphQlHandler mit HTTPServer und testen Sie die API über den integrierten Spielplatz. Zu den Anmerkungen geh?ren Feldnamenspezifikationen, Fehlerbehandlung, Leistungsoptimierung und Sicherheitseinstellungen, um die Projektwartung sicherzustellen
Go Sync.waitGroup Beispiel
Jul 09, 2025 am 01:48 AM
Sync.waitGroup wird verwendet, um auf eine Gruppe von Goroutinen zu warten, um die Aufgabe zu erledigen. Sein Kern besteht darin, drei Methoden zusammenzuarbeiten: hinzufügen, fertig und warten. 1.Add (n) Stellen Sie die Anzahl der Goroutiner fest, um zu warten; 2.Done () wird am Ende jeder Goroutine bezeichnet, und die Anzahl wird um eins reduziert; 3.wait () blockiert die Hauptkorutine, bis alle Aufgaben erledigt sind. Beachten Sie bitte, dass Sie bei der Verwendung au?erhalb der Goroutine doppelte Warten vermeiden, und stellen Sie sicher, dass der Don aufgerufen wird. Es wird empfohlen, es mit Aufhebung zu verwenden. Es ist h?ufig bei der gleichzeitigen Krabbeln von Webseiten, der Stapeldatenverarbeitung und anderer Szenarien und kann den Parallelit?tsprozess effektiv steuern.
Gehen Sie ein Paket -Tutorial ein
Jul 09, 2025 am 02:46 AM
Durch die Verwendung von GO -Einbettenpaket k?nnen statische Ressourcen einfach in bin?re und für Webdienste geeignet einbetten, um HTML, CSS, Bilder und andere Dateien zu verpacken. 1. Deklarieren Sie die eingebettete Ressource zum Hinzufügen // Go: Einbetten Sie einen Kommentar vor der Variablen ein, z. B. das Einbettung einer einzelnen Datei hello.txt; 2. Es kann in das gesamte Verzeichnis wie static/*eingebettet werden und die Multi-File-Verpackung durch Einbettung.Fs realisieren; 3.. Es wird empfohlen, den Festplattenlastmodus über Geb?ude- oder Umgebungsvariablen zu wechseln, um die Effizienz zu verbessern. 4. Achten Sie auf Pfadgenauigkeit, Einschr?nkungen der Dateigr??en und schreibgeschützte Merkmale eingebetteter Ressourcen. Die rationale Verwendung von Einbetten kann die Bereitstellung vereinfachen und die Projektstruktur optimieren.
Gehen Sie für Audio-/Videoverarbeitung
Jul 20, 2025 am 04:14 AM
Der Kern der Audio- und Videoverarbeitung liegt darin, die grundlegenden Prozess- und Optimierungsmethoden zu verstehen. 1. Der grundlegende Prozess umfasst Akquisition, Codierung, übertragung, Decodierung und Wiedergabe, und jeder Link hat technische Schwierigkeiten. 2. H?ufige Probleme wie Audio- und Video -Aberration, Verz?gerungsverz?gerung, Schallger?usch, verschwommenes Bild usw. k?nnen durch synchrone Einstellung, Codierungsoptimierung, Rauschverringerungsmodul, Parameteranpassung usw. gel?st werden; 3.. Es wird empfohlen, FFMPEG, OpenCV, Webrtc, Gstreamer und andere Tools zu verwenden, um Funktionen zu erzielen. 4. In Bezug auf das Leistungsmanagement sollten wir auf die Beschleunigung der Hardware, die angemessene Einstellung der Aufl?sungsrahmenquoten, die Kontrollverkehr und Speicher -Leckage -Probleme achten. Wenn Sie diese wichtigen Punkte beherrschen, werden die Entwicklungseffizienz und die Benutzererfahrung verbessert.
So erstellen Sie einen Webserver in Go
Jul 15, 2025 am 03:05 AM
Es ist nicht schwierig, einen in Go geschriebenen Webserver zu erstellen. Der Kern liegt in der Verwendung des NET/HTTP -Pakets zur Implementierung grundlegender Dienste. 1. Verwenden Sie Net/HTTP, um den einfachsten Server zu starten: Registrieren Sie die Verarbeitungsfunktionen und h?ren Sie Ports über einige Codezeilen an. 2. Routing -Management: Verwenden Sie ServeMux, um mehrere Schnittstellenpfade für eine einfache strukturierte Verwaltung zu organisieren. 3. H?ufige Praktiken: Gruppenrouting nach funktionalen Modulen und verwenden Bibliotheken von Drittanbietern, um eine komplexe übereinstimmung zu unterstützen. 4. Statischer Dateidienst: Geben Sie HTML-, CSS- und JS -Dateien über http.FileServer an; 5. Leistung und Sicherheit: Aktivieren Sie HTTPS, begrenzen Sie die Gr??e des Anforderungsorganisation und stellen Sie Zeitüberschreitungen ein, um die Sicherheit und Leistung zu verbessern. Nach dem Beherrschen dieser Schlüsselpunkte ist es einfacher, die Funktionalit?t zu erweitern.
W?hlen Sie mit Standardfall ausw?hlen
Jul 14, 2025 am 02:54 AM
Der Zweck von Select Plus -Standard besteht darin, das Ausw?hlen zu erm?glichen, ein Standardverhalten durchzuführen, wenn keine anderen Zweige bereit sind, um das Programmblockieren zu vermeiden. 1. Beim Empfangen von Daten aus dem Kanal ohne Blockierung, wenn der Kanal leer ist, wird direkt die Standardzweigung eingegeben. 2. In Kombination mit der Zeit. Nach oder Ticker versuchen Sie, Daten regelm??ig zu senden. Wenn der Kanal voll ist, wird er nicht blockiert und überspringt. 3. Verhindern Sie Deadlocks, vermeiden Sie das Programm, das nicht sicher ist, ob der Kanal geschlossen ist. Beachten Sie bei der Verwendung, dass die Standardzweig sofort ausgeführt wird und nicht missbraucht wird, und standardm??ig und der Fall sind sich gegenseitig ausschlie?lich und werden nicht gleichzeitig ausgeführt.
