近期，OpenAI Translator 和 NextChat 都開始支持 Ollama 本地運行的大型語言模型了，這對「新手上路」的愛好者來說，又多了一種新玩法。

而且 Ollama on Windows（預覽版）的推出，完全顛覆了在 Windows 設備上進行 AI 開發(fā)的方式，它為 AI 領域的探索者和普通的「試水玩家」指引了一條明確的道路。

什么是 Ollama？

Ollama 是一款開創(chuàng)性的人工智能（AI）和機器學習（ML）工具平臺，它極大地簡化了 AI 模型的開發(fā)和使用過程。

在技術社區(qū)里，AI 模型的硬件配置和環(huán)境搭建一直是個棘手的問題，而 Ollama 正是為了解決這樣的關鍵需求而出現(xiàn)的：

• 它不僅提供了一系列工具，更重要的是，這些工具使用起來非常直觀且高效，不管你是 AI 領域的專業(yè)人士還是初涉此道的新手，都能在 Ollama 上找到對應的支持。
• 不止于方便使用，Ollama 還讓先進的 AI 模型和計算資源的獲取不再局限于少數(shù)人。對于 AI 和 ML 社區(qū)而言，Ollama 的誕生具有里程碑意義，它推動了 AI 技術的普及，讓更多的人能夠去嘗試和實踐自己的 AI 創(chuàng)意。

為什么 Ollama 能夠脫穎而出？

在眾多 AI 工具中，Ollama 憑借以下幾個關鍵優(yōu)勢脫穎而出，這些特性不僅彰顯了其獨特性，更解決了 AI 開發(fā)者和愛好者們最常遇到的難題：

• 自動硬件加速：Ollama 能自動識別并充分利用 Windows 系統(tǒng)中的最優(yōu)硬件資源。無論你是配備了 NVIDIA GPU，還是 CPU 支持 AVX、AVX2 這樣先進的指令集，Ollama 都能實現(xiàn)針對性優(yōu)化，確保 AI 模型更加高效地運行。有了它，就不用再頭疼于復雜的硬件配置問題了，你可以將更多的時間和精力都集中在項目本身。
• 無需虛擬化：在進行 AI 開發(fā)時，以往常常需要搭建虛擬機或配置復雜的軟件環(huán)境。而 Ollama 讓這一切都不再成為阻礙，直接就能開始 AI 項目的開發(fā)，整個流程變得簡單快捷。對于想嘗試 AI 技術的個人或組織來說，這種便捷性降低了很多門檻。
• 接入完整的 Ollama 模型庫：Ollama 為用戶提供了豐富的 AI 模型庫，包括像 LLaVA 這樣的先進圖像識別模型和 Google 最新推出的 Gemma 模型等。擁有這樣一個全面的「武器庫」，我們可以輕松嘗試和應用各種開源模型，而不用自己費時費力地去搜尋整合。無論你想進行文本分析、圖像處理，還是其他 AI 任務，Ollama 的模型庫都能提供強有力的支持。
• Ollama 的常駐 API：在軟件互聯(lián)的今天，將 AI 功能整合到自己的應用中極具價值。Ollama 的常駐 API 大大簡化了這一過程，它會在后臺默默運行，隨時準備將強大的 AI 功能與你的項目無縫對接，而無需額外的復雜設置。有了它，Ollama 豐富的 AI 能力會隨時待命，能自然而然地融入你的開發(fā)流程，進一步提升工作效率。

Ollama 通過這些精心設計的功能特性，不僅解決了 AI 開發(fā)中的常見難題，還讓更多的人能夠輕松地接觸和應用先進的 AI 技術，極大地擴展了 AI 的應用前景。

在 Windows 上使用 Ollama

歡迎邁入 AI 和 ML 的新時代！接下來，我們將帶你完成上手的每一步，還會提供一些實用的代碼和命令示例，確保你一路暢通。

步驟 1：下載和安裝

1訪問 Ollama Windows Preview 頁面，下載OllamaSetup.exe安裝程序。

2雙擊文件，點擊「Install」開始安裝。

3安裝完成之后，就可以開始在 Windows 上使用 Ollama 了，是不是非常簡單。

步驟 2：啟動 Ollama 并獲取模型

要啟動 Ollama 并從模型庫中獲取開源 AI 模型，請按以下步驟操作：

1在「開始」菜單中點擊 Ollama 圖標，運行后會在任務欄托盤中駐留一個圖標。

2右鍵點擊任務欄圖標，選擇「View log」打開命令行窗口。

3執(zhí)行以下命令來運行 Ollama，并加載模型：

ollama run [modelname]

執(zhí)行以上命令后，Ollama 將開始初始化，并自動從 Ollama 模型庫中拉取并加載所選模型。一旦準備就緒，就可以向它發(fā)送指令，它會利用所選模型來進行理解和回應。

記得將modelname名稱換成要運行的模型名稱，常用的有：

運行 7B 至少需要 8GB 內(nèi)存，運行 13B 至少需要 16GB 內(nèi)存。

步驟 3：使用模型

如前所述，Ollama 支持通過各種各樣的開源模型來完成不同的任務，下面就來看看怎么使用。

• 基于文本的模型：加載好文本模型后，就可以直接在命令行里輸入文字開始與模型「對話」。例如，阿里的 Qwen（通義千問）：

• 基于圖像的模型：如果你想使用圖像處理模型，如 LLaVA 1.6，可以使用以下命令來加載該模型：

ollama run llava1.6

Ollama 會使用你選擇的模型來分析這張圖片，并給你一些結(jié)果，比如圖片的內(nèi)容和分類，圖片是否有修改，或者其他的分析等等（取決于所使用的模型）。

步驟 4：連接到 Ollama API

我們不可能只通過命令行來使用，將應用程序連接到 Ollama API 是一個非常重要的步驟。這樣就可以把 AI 的功能整合到自己的軟件里，或者在 OpenAI Translator 和 NextChat 這類的前端工具中進行調(diào)用。

以下是如何連接和使用 Ollama API 的步驟：

• 默認地址和端口：Ollama API 的默認地址是http://localhost:11434，可以在安裝 Ollama 的系統(tǒng)中直接調(diào)用。
• 修改 API 的偵聽地址和端口：如果要在網(wǎng)絡中提供服務，可以修改 API 的偵聽地址和端口。

1右擊點擊任務欄圖標，選擇「Quit Ollama」退出后臺運行。

2使用Windows + R快捷鍵打開「運行」對話框，輸出以下命令，然后按Ctrl + Shift + Enter以管理員權限啟動「環(huán)境變量」。

C:Windowssystem32rundll32.exe sysdm.cpl, EditEnvironmentVariables

3要更改偵聽地址和端口，可以添加以下環(huán)境變量：

• 變量名：OLLAMA_HOST
• 變量值（端口）：:8000

只填寫端口號可以同時偵聽（所有） IPv4 和 IPv6 的:8000端口。

要使用 IPv6，需要 Ollama 0.0.20 或更新版本。

4如果安裝了多個模型，可以通過OLLAMA_MODELS變量名來指定默認模型。

5更改完之后，重新運行 Ollama。然后在瀏覽器中測試訪問，驗證更改是否成功。

6示例 API 調(diào)用： 要使用 Ollama API，可以在自己的程序里發(fā)送 HTTP 請求。下面是在「終端」里使用curl命令給 Gemma 模型發(fā)送文字提示的例子：

curl http://192.168.100.10:8000/api/generate -d '{
"model": "gemma:7b",
"prompt": "天空為什么是藍色的？"
}'

返回響應的格式，目前只支持 Json 格式。

Ollama 的常用命令有：

# 查看 Ollama 版本
ollama -v

# 查看已安裝的模型
ollama list

# 刪除指定模型
ollama rm [modelname]

# 模型存儲路徑
# C:Users\.ollamamodels

按照上述步驟，并參考命令示例，你可以在 Windows 上盡情體驗 Ollama 的強大功能。不管是在命令行中直接下達指令，通過 API 將 AI 模型集成到你的軟件當中，還是通過前端套殼，Ollama 的大門都已經(jīng)為你敞開。

Ollama on Windows 的最佳實踐

要讓 Ollama 在 Windows 上充分發(fā)揮最大潛力，需要注意以下幾點最佳實踐和技巧，這將幫助你優(yōu)化性能并解決一些常見問題：

優(yōu)化 Ollama 的性能：

• 檢查硬件配置：?確保你的設備滿足 Ollama 推薦的硬件要求，尤其是運行大型模型時。如果你有 NVIDIA GPU，還可以享受 Ollama 提供的自動硬件加速，大幅提升計算速度。
• 更新驅(qū)動程序：?保持顯卡驅(qū)動程序為最新版本，以確保與 Ollama 的兼容性和最佳性能。
• 釋放系統(tǒng)資源：運行大型模型或執(zhí)行復雜任務時，請關閉不必要的程序，釋放系統(tǒng)資源。
• 選擇合適模型：根據(jù)任務需求選擇合適的模型。大參數(shù)模型雖然可能更準確，但對算力的要求也更高。對于簡單任務，使用小參數(shù)模型更有效率。

Ollama 常見問題解答

安裝問題

• 確保你的 Windows 系統(tǒng)是最新版本。
• 確保你擁有安裝軟件所需的權限。
• 嘗試以管理員身份運行安裝程序。

模型加載錯誤

• 檢查輸入的命令是否正確。
• 確認模型名稱與 Ollama 模型庫中的名稱相符。
• 檢查 Ollama 版本并進行更新。

Ollama API 連接問題

• 確保 Ollama 正在運行。
• 檢查偵聽地址和端口，特別是端口是否被其他應用占用。

在本教程中，我們學習了如何在 Windows 上安裝和使用 Ollama，包括安裝 Ollama、執(zhí)行基礎命令、使用 Ollama 模型庫，以及通過 API 連接 Ollama。建議你深入研究 Ollama，并嘗試各種不同的模型。

Ollama 的潛力無限，借助它，你可以實現(xiàn)更多可能！

以上是Windows on Ollama：本地運行大型語言模型（LLM）的新利器的詳細內(nèi)容。更多信息請關注PHP中文網(wǎng)其他相關文章！