什麼是LLM網(wǎng)關(guān)？

LLM Gateway是一個平臺，允許用戶使用統(tǒng)一的API接口在多個提供商之間路由，管理和分析其大型語言模型（LLM）請求。它是完全開源的，與OpenAI API格式兼容以進(jìn)行無縫集成。

如何使用LLM網(wǎng)關(guān)？

要使用LLM網(wǎng)關(guān)，用戶只需將其現(xiàn)有API端點(diǎn)更改為`https：// api.llmgateway.io/v1`並使用其LLM Gateway API鍵即可。它與OpenAI API格式兼容，允許以各種語言和框架（例如Python，Typescript，Next.js，Java，Rust，Go，go，Php和Ruby）等各種語言和框架與現(xiàn)有代碼集成。然後，LLM網(wǎng)關(guān)在跟蹤使用和性能時將請求路由到適當(dāng)?shù)奶峁┥獭?/p>

LLM Gateway的核心功能

統(tǒng)一的API接口（OpenAI API兼容）

多培訓(xùn)支持

用法分析（請求，令牌，響應(yīng)時間，成本）

性能監(jiān)控

安全密鑰管理

自我託管或云部署

模型編排（與最佳AI模型的動態(tài)路由）

簡單集成

LLM Gateway的用例

通過單個API管理和路由LLM請求跨各個提供商。

跟蹤和分析LLM的使用，成本和性能。

遷移現(xiàn)有的OpenAI API集成以支持多個LLM提供商。

部署完整的自主LLM代理>

比較不同的LLM模型的性能和成本效益。

LLM Gateway支持電子郵件和客戶服務(wù)聯(lián)繫人和退款聯(lián)繫人等。

這是用於客戶服務(wù)的LLM網(wǎng)關(guān)支持電子郵件：[電子郵件保護(hù)]。更多聯(lián)繫，請?jiān)L問“聯(lián)繫我們”頁面（MailTo：[電子郵件保護(hù)]）