1.キーワード、識(shí)別子、數(shù)字を含むトークンタイプを定義します。 2。入力文字を読み取るためのlexer構(gòu)造を作成します。 3.次のトークンメソッドを?qū)g裝して、ホワイトスペースの文字を識(shí)別し、スキップします。 4.例を使用してレクサー機(jī)能をテストします。 GOで単純なレクサーを記述するには、最初にトークン構(gòu)造と関連するタイプ定數(shù)を定義し、次に入力情報(bào)を保存するレクサー構(gòu)造を作成し、次にtokenメソッドを?qū)g裝してさまざまなタイプのトークンを識(shí)別し、ホワイトスペース文字をスキップし、最後にテストコードを使用して語レクサーの関數(shù)を検証する必要があります。このプロセスは、初心者が理解し、拡張するのに適しています。

単純なlexer（lexer）を書くことは、GO言語では実際には難しくありません?；镜膜嗜肓I理と狀態(tài)制御ロジックを理解している限り、簡(jiǎn)単に実裝できます。これはそれほど複雑な編集の原則ではありませんが、実用的な観點(diǎn)からのみ、基本的なキーワード、識(shí)別子、數(shù)字を段階的に認(rèn)識(shí)できるレクサーを書く必要があります。

1.トークンタイプを定義します

Lexerの作成を開始する前に、最初にどの「語彙」を認(rèn)識(shí)したいかを明確にする必要があります。識(shí)別された各要素を表すためにToken構(gòu)造を定義できます。

タイプトークンstruct {
    文字列を入力します
    値文字列
}

次に、次のような一般的なトークンタイプを定義します。

 const（
    違法=「違法」
    EOF = "EOF"

    識(shí)別= "識(shí)別" //識(shí)別子int = "int" // integer assign = "="
    プラス= ""
    comma = "、"
    semicolon = ";"

    let = "let"
））

このステップは基礎(chǔ)であり、レクサーが認(rèn)識(shí)できることを決定します。

2。レクサー構(gòu)造を作成します

次に、現(xiàn)在読み取られた場(chǎng)所、文字、その他の情報(bào)を保存する構(gòu)造を作成します。

タイプlexer struct {
    入力文字列
    位置int //現(xiàn)在の文字位置Readposition int //次の文字位置を読み取りますch byte //現(xiàn)在の文字}

初期化関數(shù)は次のとおりです。

 func new（入力文字列） *lexer {
    l：=＆lexer {入力：入力}
    l.readchar（）
    lを返します
}

readChar()関數(shù)は、次の文字を読み取り、ポジションポインターを更新するために使用されます。

 func（l *lexer）readchar（）{
    l.readposition> = len（l.input）{
        l.ch = 0
    } それ以外 {
        l.ch = l.input [l.readposition]
    }
    L.Position = L.ReadPosition
    L.ReadPosition  
}

この部分は、主に入力文字列のバイトバイト処理を使用して、後続の解析の基礎(chǔ)を築きます。

3.次の張りのメソッドを?qū)g裝します

この方法は、入力から次のトークンを抽出する責(zé)任があります。一般的なロジックは次のとおりです。Whitespace文字をスキップし、現(xiàn)在の文字の種類を決定し、対応するトークンを生成します。

 func（l *lexer）nexttoken（）token {
    Var Tok Token

    l.skipwhiteSpace（）

    l.chを切り替える{
    case '='：
        tok = newtoken（assign、l.ch）
    場(chǎng)合 ' '：
        tok = newtoken（プラス、l.ch）
    場(chǎng)合 '、'：
        tok = newtoken（Comma、l.ch）
    場(chǎng)合 ';'：
        tok = newtoken（semicolon、l.ch）
    ケース0：
        tok.type = eof
        tok.value = ""
    デフォルト：
        IF Asletter（L.CH）{
            ID：= L.ReadIdentifier（）
            tok = token {type：識(shí)別、値：識(shí)別}
        } elseの場(chǎng)合はisdigit（l.ch）{
            tok = token {type：int、value：l.readnumber（）}
        } それ以外 {
            tok = newtoken（違法、l.ch）
        }
    }

    l.readchar（）
    トークを返します
}

その中で、 skipWhitespace 、 isLetter 、 isDigitなどのヘルパー機(jī)能は次のように書くことができます。

 func（l *lexer）skipwhitespace（）{
    l.ch == '' ||の場(chǎng)合l.ch == '\ t' || l.ch == '\ n' || l.ch == '\ r' {
        l.readchar（）
    }
}

Func Isletter（ch byte）bool {
    &#39;a&#39; <= ch && ch <= &#39;z&#39; ||を返します&#39;a&#39; <= ch && ch <= &#39;z&#39;
}

func isdigit（ch byte）bool {
    return &#39;0&#39; <= ch && ch <= &#39;9&#39;
}

readIdentifierとreadNumberの実裝もあります。

 func（l *lexer）readidentifier（）string {
    位置：= L.Position
    ISLETTER（L.CH）||の場(chǎng)合isdigit（l.ch）{
        l.readchar（）
    }
    return l.input [position：l.position]
}

func（l *lexer）readnumber（）string {
    位置：= L.Position
    isdigit（l.ch）{
        l.readchar（）
    }
    return l.input [position：l.position]
}

これらの関數(shù)は、変數(shù)名、整數(shù)、シンボルなどを完全に識(shí)別できます。

4.例とテストを使用します

このようにこのlexerを使用できます。

入力：= "x = 5; let y = 10;"
L：= new（入力）

のために {
    tok：= l.nexttoken（）
    tok.type == eof {
        壊す
    }
    fmt.printf（ "％v \ n"、tok）
}

出力はおそらく次のとおりです。

 {type：let value：let}
{タイプ：識(shí)別値：x}
{type：= value：=}
{タイプ：int値：5}
{タイプ：;価値：;}
...

もちろん、このレクサーはまだ非常に単純であり、浮動(dòng)小數(shù)點(diǎn)數(shù)、文字列、コメントなどのより複雑な狀況を扱っていませんが、學(xué)習(xí)と拡大の基礎(chǔ)として機(jī)能するだけで十分です。

基本的にそれだけです。プロセス全體が明確で、構(gòu)造は単純で、初心者が理解して拡大するのに適しています。パーサーまたは通訳者であり続けることを計(jì)畫している場(chǎng)合、このレクサーは良い出発點(diǎn)です。

以上がゴランでシンプルなレクサーを書く方法の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語 Web サイトの他の関連記事を參照してください。