我最近一直在探索 Go 的 UTF-8 支持，并且很好奇它在代碼中處理非拉丁腳本的效果如何。

使用 UTF-8

Go 源文件默認(rèn)采用 UTF-8 編碼。這意味著理論上您可以在變量名稱、函數(shù)名稱等中使用 Unicode 字符。

例如，在官方的 Go Playground 樣板代碼中，你可能會遇到這樣的代碼：

package main

import "fmt"

func main() {
    消息 := "Hello, World!"
    fmt.Println(消息)
}

這里的“消息”是中文“消息”的意思。由于其 Unicode 支持，Go 可以毫無問題地處理這個問題。這種功能是 Go 在中國和日本等國家流行的原因之一——開發(fā)人員可以使用對自己語言有意義的標(biāo)識符來編寫代碼。你可能不會相信，但用母語編寫代碼在中國非常受歡迎，我喜歡它。

---

嘗試使用泰米爾語標(biāo)識符

當(dāng)然，我想用我的母語泰米爾語嘗試一下。

這是我寫的一個簡單示例：

package main

import "fmt"

func main() {
    ????????? := 42 // "?????????" means "number"
    fmt.Println("Value:", ?????????)
}

乍一看，這似乎很簡單，可以運(yùn)行而不會出現(xiàn)任何錯誤。

但是，當(dāng)我嘗試編譯代碼時，我遇到了錯誤

./prog.go:6:11: invalid character U+0BCD '?' in identifier
./prog.go:6:17: invalid character U+0BBF '?' in identifier
./prog.go:6:23: invalid character U+0BCD '?' in identifier
./prog.go:6:29: invalid character U+0BC8 '?' in identifier
./prog.go:7:33: invalid character U+0BCD '?' in identifier
./prog.go:7:39: invalid character U+0BBF '?' in identifier
./prog.go:7:45: invalid character U+0BCD '?' in identifier
./prog.go:7:51: invalid character U+0BC8 '?' in identifier

了解泰米爾語組合標(biāo)記的問題

要了解正在發(fā)生的事情，有必要了解一些泰米爾語腳本的工作原理。

泰米爾語是一種abugida——一種將每個輔音-元音序列寫成一個單元的書寫系統(tǒng)。在 Unicode 中，這通常涉及將基本輔音字符與表示元音或其他修飾符的一個或多個組合標(biāo)記組合起來。

例如：

• 泰米爾語字母? (U 0B95) 代表輔音“ka”

• 要表示“ki”，您可以將 ? 與元音符號 ? (U 0BBF) 組合起來，得到 ??。

• 元音符號 ? 是一個組合標(biāo)記，在 Unicode 中被明確歸類為“非空格標(biāo)記”。

這就是問題出現(xiàn)的地方。

Go 的語言規(guī)范允許在標(biāo)識符中使用 Unicode 字母，但排除組合標(biāo)記。具體來說，標(biāo)識符可以包含分類為“字母”的字符（類別 Lu、Ll、Lt、Lm、Lo 或 Nl）和數(shù)字，但不能包含組合標(biāo)記（類別 Mn、Mc、Me）。

---

泰米爾語組合標(biāo)記示例

讓我們看看泰米爾語字符是如何形成的：

• 獨(dú)立輔音：? (U 0B95) - Go 標(biāo)識符中允許使用。

• 輔音元音符號：?? (U 0B95 U 0BBE) - 不允許，因?yàn)? (U 0BBE) 是組合標(biāo)記 (Mc)。

• 輔音元音符號：?? (U 0B95 U 0BBF) - 不允許，因?yàn)? (U 0BBF) 是組合標(biāo)記 (Mn)。

• 輔音元音符號：?? (U 0B95 U 0BC2) - 不允許，因?yàn)? (U 0BC2) 是組合標(biāo)記 (Mc)。

標(biāo)識符?????????（“數(shù)字”）中，字符包含組合標(biāo)記：

• ? (U 0B8E) - 信，允許。

• ?? (U 0BA3 U 0BCD) - 由? (U 0BA3) 和 virama ? (U 0BCD) 組成，組合標(biāo)記 (Mn)。

• ? (U 0BA3) - 信，允許。

• ????? - 包含組合標(biāo)記，如 ? (U 0BBF) 和 ? (U 0BC8)。

由于 Go 標(biāo)識符中不允許使用這些組合標(biāo)記，因此編譯器在遇到它們時會拋出錯誤。

---

為什么漢字可以用而泰米爾語不行

漢字在 Unicode 中通常被歸類為“字母、其他”(Lo) 類別。它們是獨(dú)立的符號，不需要組合標(biāo)記來形成完整的字符。這就是為什么像消息這樣的標(biāo)識符在 Go 中完美工作的原因。

實(shí)際意義

無法在標(biāo)識符中使用組合標(biāo)記對于泰米爾語等腳本具有重大影響：

• 表達(dá)能力有限：如果不組合標(biāo)記，幾乎不可能用泰米爾語編寫有意義的標(biāo)識符。

• 教育障礙：使用本機(jī)腳本可以使學(xué)習(xí)編碼變得更容易，但這些限制阻礙了這種可能性，特別是對于遵循基于 abugida 的書寫系統(tǒng)的語言。

• 包容性挑戰(zhàn)：雖然 Go 的目標(biāo)是通過 UTF-8 支持實(shí)現(xiàn)包容性，但組合標(biāo)記的限制排除了許多依賴它們的語言。

總結(jié)

Go 的 UTF-8 支持是朝著使編程更具包容性邁出的一大步。然而，在標(biāo)識符中排除組合標(biāo)記對泰米爾語、印地語和阿拉伯語等語言造成了障礙，在這些語言中，組合標(biāo)記是腳本的組成部分。

作為一名來自泰米爾納德邦、主要從事 Go 工作的開發(fā)人員，這個發(fā)現(xiàn)既令人興奮又有點(diǎn)令人失望。它強(qiáng)調(diào)了編程語言真正國際化的復(fù)雜性。

誰用母語編碼來構(gòu)建軟件產(chǎn)品??？！?。?！

絕對！與東亞地區(qū)不同，那里不遵循基于“abugida”的書寫系統(tǒng)。

而且，顯然，Go 的創(chuàng)建者一開始就不會打算將 UTF-8 合規(guī)性用于“本地語言編碼”。原因更多是為了提供更好的 ASCII 處理、與現(xiàn)代 Web 標(biāo)準(zhǔn)保持一致、一致的字符串處理以及邁向互操作性的一步。

這次嘗試只是我的好奇心，想了解我們能在 Go 中實(shí)現(xiàn) UTF-8 合規(guī)性到什么程度。作為致力于用 Go 構(gòu)建可擴(kuò)展的分布式金融科技系統(tǒng)的人，我發(fā)現(xiàn)了解這些細(xì)微差別至關(guān)重要。

---

就是這樣。感謝您的閱讀。

快樂編碼:)愿代碼與你同在。

以上是Go 的 UTF 支持：一個有趣的限制的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！