Elasticsearch Chinesische Suche: Analysatoren und Best Practices

Analyse und Lexikisation sind im Content Index von Elasticsearch von entscheidender Bedeutung, insbesondere im Umgang mit nicht englischen Sprachen. Für Chinesen ist dieser Prozess aufgrund der Eigenschaften chinesischer Charaktere und des Mangels an R?umen zwischen W?rtern und S?tzen noch komplizierter.

In diesem Artikel werden verschiedene L?sungen für die Analyse chinesischer Inhalte in Elasticsearch er?rtert, einschlie?lich des Standard-Chinesischen Analysators, des Paoding-Plug-In-, des CJK-Analysators, des SmartCN-Analysators und der Intensivstation und analysiert deren Vorteile und Nachteile und anwendbaren Szenarien.

Herausforderungen der chinesischen Suche

chinesische Zeichen sind Ideogramme, die ein Wort oder Morpheme darstellen (die kleinste aussagekr?ftige Einheit in der Sprache). Wenn sich zusammen kombiniert, ?ndert sich seine Bedeutung und repr?sentiert ein v?llig neues Wort. Eine weitere Schwierigkeit ist, dass es keine R?ume zwischen W?rtern und S?tzen gibt, was es Computern schwer macht zu wissen, wo ein Wort beginnt und endet.

Auch wenn Sie nur Mandarin (die offizielle chinesische Sprache und die am h?ufigsten verwendeten Chinesen der Welt) betrachten, gibt es Zehntausende chinesischer Charaktere, auch wenn Sie tats?chlich Chinesisch schreiben, müssen Sie nur drei bis viertausend wissen Chinesische Charaktere. Zum Beispiel ist "Vulcano" (Vulkan) tats?chlich eine Kombination aus den folgenden zwei chinesischen Zeichen:

• Feuer: Feuer
• Berg: Berg

Unser Wortpartizip muss klug genug sein, um diese beiden chinesischen Charaktere zu trennen, da sich ihre Bedeutung von der Zeit unterscheidet, wenn sie getrennt sind.

Eine weitere Schwierigkeit ist die verwendete Rechtschreibvariante:

• vereinfachtes Chinesisch: Kalligraphie
• traditionelles Chinesisch, komplexer und reicher: Buchmethode
• Pinyin, romanisierte Form von Mandarin: Shū fǎ

Chinesischer Analysator in Elasticsearch

derzeit liefert Elasticsearch die folgenden chinesischen Analysatoren:

• Standard Chinese Analysator, basierend auf veralteten Klassen in Lucene 4;
• Plugin, obwohl nicht mehr beibehalten, basiert auf einem sehr guten W?rterbuch paoding
Analysator, der den Inhalt bin?risiert;
• cjk Analysator, ein offiziell unterstütztes Plug-In;
ICU-Plug-In und sein Word-Segmentierungsger?t.
• smartcn
Diese Analysatoren variieren stark und wir werden ihre Leistung mit einem einfachen Testwort "Mobiltelefon" vergleichen. "Handy" bedeutet "Mobiltelefon", das aus zwei chinesischen Charakteren besteht, die "Hand" und "Handy" darstellen. Das Wort "ji" bildet auch viele andere W?rter:

• Maschinengewehr: Maschinengewehr
• Gelegenheit: Opportunity
Unser Partizip kann diese chinesischen Charaktere nicht teilen, denn wenn ich nach "Handy" suche, m?chte ich keine Dokumentation über Rambo, das ein Maschinengewehr besitzt.
Wir werden diese L?sungen mit der leistungsstarken

_analyze

• Standard Chinese Analysator: Es unterteilt nur alle chinesischen Zeichen in Wortelemente. Daher erhalten wir zwei lexikalische Elemente: Handy und Handy. Der standard Analysator von Elasticsearch erzeugt genau die gleiche Ausgabe. Daher ist Chinese veraltet und wird bald durch standard ersetzt und sollte vermieden werden.

• paoding Plug-In: paoding Fast ein Industriestandard und gilt als elegante L?sung. Leider wird das Plugin für Elasticsearch nicht beibehalten, und ich kann es nur nach einigen ?nderungen auf Version 1.0.1 ausführen. (Installationsschritte werden weggelassen, ursprünglicher Text) Nach der Installation erhalten wir einen neuen paoding Word -Segmentierer und zwei Sammler: max_word_len und most_word. Standardm??ig gibt es keinen ?ffentlichen Analysator, daher müssen wir einen neuen Analysator deklarieren. (Konfigurationsschritte werden weggelassen, ursprünglicher Text) Beide Konfigurationen liefern gute Ergebnisse mit klaren und eindeutigen lexikalischen Elementen. Es verh?lt sich auch sehr gut, wenn es um komplexere S?tze geht.

• cjk Analysator: Sehr einfacher Analysator, der nur einen Text in Bin?rdateien umwandelt. "Mobile" nur indexiert 手機, was gut ist, aber wenn wir l?ngere W?rter verwenden, wie z. und jeweils "Xiao Festival".

• smartcn Plug-In: Sehr einfach zu installieren. (Installationsschritte werden weggelassen, Originaltext vorgelegt) Es enth?lt einen neuen smartcn -Analysator sowie smartcn_tokenizer Word -Segmentierer unter Verwendung von Lucenes SmartChineseAnalyzer. Es verwendet eine Wahrscheinlichkeitsuite, um die beste Segmentierung von W?rtern zu finden, wobei Hidden Markov -Modelle und eine gro?e Menge Trainingstext verwendet werden. Daher wurde ein ziemlich gutes Trainingsw?rterbuch eingebettet - unsere Beispiele sind korrekt beteiligt.

• ICU -Plugin: Ein weiteres offizielles Plugin. (Die Installationsschritte werden weggelassen, Originaltext vorgelegt) Wenn Sie sich mit einer nicht englischen Sprache befassen, wird empfohlen, dieses Plugin zu verwenden. Es gibt einen icu_tokenizer Wortsegmentierer sowie viele leistungsstarke Analyse -Tools wie icu_normalizer, icu_folding, icu_collation usw. offen. Es verwendet chinesische und japanische W?rterbücher, die Informationen über die Worth?ufigkeit enthalten, um chinesische Charaktergruppen zu schlie?en. Auf "Handy" ist alles normal und funktioniert wie erwartet, aber auf "Lantern Festival" werden zwei W?rter produziert: Lantern Festival und Festival - das liegt daran, dass "Lantern Festival" und "Festival" wichtiger sind als "Lantern Festival" ". gemeinsam.

Vergleich der Ergebnisse (Das Formular weggelassen, ursprünglicher Text angegeben)

Aus meiner Sicht haben paoding und smartcn die besten Ergebnisse erzielt. chinese Das Wort Partizip ist sehr schlecht, icu_tokenizer ist ein bisschen entt?uschend auf dem "Lanternfest", aber es ist sehr gut darin, mit traditionellen Chinesen umzugehen.

traditionelle chinesische Unterstützung

Sie müssen m?glicherweise herk?mmliche Chinesen aus einer Dokument- oder Benutzer -Suchanforderung verarbeiten. Sie ben?tigen einen Normalisierungsschritt, um diese traditionellen Eing?nge in moderne Chinesisch umzuwandeln, da Plugins wie smartcn oder paoding es nicht richtig behandeln.

Sie k?nnen es über Ihre Anwendung verarbeiten oder versuchen, das Plugin elasticsearch-analysis-stconvert zu verwenden, um es direkt in Elasticsearch zu verarbeiten. Es kann traditionelle und vereinfachte Zeichen in beide Richtungen umwandeln. (Installationsschritte werden weggelassen, der ursprüngliche Text wurde bereitgestellt)

Die letzte L?sung besteht darin, cjk zu verwenden: Wenn Sie das Partizip nicht richtig eingeben k?nnen, erfassen Sie die erforderliche Dokumentation immer noch sehr wahrscheinlich und verwenden dann icu_tokenizer (auch ziemlich gut), um die Relevanz zu verbessern.

Weitere Verbesserungen

Es gibt keine perfekte universelle L?sung für die Elasticsearch -Analyse, und Chinesen sind keine Ausnahme. Sie müssen Ihre eigenen Analysatoren basierend auf den von Ihnen erhaltenen Informationen kombinieren und erstellen. Zum Beispiel verwende ich das Partizip cjk und smartcn im Suchfeld mit mehreren Feld- und Multi-Match-Abfragen.

(FAQ -Teil weggelassen, Originaltext angegeben)

Das obige ist der detaillierte Inhalt vonEffiziente chinesische Suche mit Elasticsearch. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!