緩存極大地加速了從 CPU 級操作到數(shù)據(jù)庫接口的處理速度。 緩存失效（確定何時刪除緩存數(shù)據(jù)）是一項復(fù)雜的挑戰(zhàn)。這篇文章解決了一個更簡單但隱蔽的緩存問題。
這個問題潛伏了 18 個月，只有當(dāng)用戶偏離推薦的使用模式時才浮出水面。 該問題源于我組織內(nèi)的自定義機(jī)器學(xué)習(xí) (ML) 框架（基于 scikit-learn 構(gòu)建）。 該框架頻繁訪問多個數(shù)據(jù)源，需要緩存層來優(yōu)化性能和成本（降低 BigQuery 出口成本）。
最初使用lru_cache，但開發(fā)過程中經(jīng)常訪問的靜態(tài)數(shù)據(jù)需要持久化緩存。 DiskCache 是一個使用 SQLite 的 Python 庫，因其簡單性以及與我們的 32 進(jìn)程環(huán)境和 Pandas DataFrame（高達(dá) 500MB）的兼容性而被選中。 在頂部添加了一個 lru_cache 層以進(jìn)行內(nèi)存訪問。
隨著越來越多的用戶嘗試該框架，問題出現(xiàn)了。 隨機(jī)報告了不正確的結(jié)果，難以一致地重現(xiàn)。 根本原因：就地修改緩存的 Pandas DataFrame。
我們的編碼標(biāo)準(zhǔn)規(guī)定在任何處理后創(chuàng)建新的數(shù)據(jù)幀。 然而，有些用戶出于習(xí)慣，使用inplace=True，直接修改緩存對象。 這不僅改變了它們的即時結(jié)果，還破壞了緩存的數(shù)據(jù)，影響后續(xù)請求。
為了說明這一點，請考慮這個使用字典的簡化示例：
from functools import lru_cache
import time
import typing as t
from copy import deepcopy
@lru_cache
def expensive_func(keys: str, vals: t.Any) -> dict:
time.sleep(3)
return dict(zip(keys, vals))
def main():
e1 = expensive_func(('a', 'b', 'c'), (1, 2, 3))
print(e1)
e2 = expensive_func(('a', 'b', 'c'), (1, 2, 3))
print(e2)
e2['d'] = "amazing"
print(e2)
e3 = expensive_func(('a', 'b', 'c'), (1, 2, 3))
print(e3)
if __name__ == "__main__":
main()
lru_cache 提供參考，而不是副本。 修改e2會改變緩存的數(shù)據(jù)。
解決方案：
解決方案涉及返回緩存對象的深層副本：
from functools import lru_cache, wraps
from copy import deepcopy
def custom_cache(func):
cached_func = lru_cache(func)
@wraps(func)
def _wrapper(*args, **kwargs):
return deepcopy(cached_func(*args, **kwargs))
return _wrapper
這會增加少量開銷（數(shù)據(jù)重復(fù)），但可以防止數(shù)據(jù)損壞。
要點：
- 更深入地了解
lru_cache的引用行為。 - 遵守編碼標(biāo)準(zhǔn)可以最大限度地減少錯誤。
- 考慮到用戶在實施過程中偏離最佳實踐的情況。 堅固往往勝過優(yōu)雅。
以上是Python 緩存可變值的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費脫衣服圖片
Undresser.AI Undress
人工智能驅(qū)動的應(yīng)用程序，用于創(chuàng)建逼真的裸體照片
AI Clothes Remover
用于從照片中去除衣服的在線人工智能工具。
Clothoff.io
AI脫衣機(jī)
Video Face Swap
使用我們完全免費的人工智能換臉工具輕松在任何視頻中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的代碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
功能強(qiáng)大的PHP集成開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級代碼編輯軟件(SublimeText3)
如何處理Python中的API身份驗證
Jul 13, 2025 am 02:22 AM
處理API認(rèn)證的關(guān)鍵在于理解并正確使用認(rèn)證方式。1.APIKey是最簡單的認(rèn)證方式，通常放在請求頭或URL參數(shù)中；2.BasicAuth使用用戶名和密碼進(jìn)行Base64編碼傳輸，適合內(nèi)部系統(tǒng)；3.OAuth2需先通過client_id和client_secret獲取Token，再在請求頭中帶上BearerToken；4.為應(yīng)對Token過期，可封裝Token管理類自動刷新Token；總之，根據(jù)文檔選擇合適方式，并安全存儲密鑰信息是關(guān)鍵。
解釋Python斷言。
Jul 07, 2025 am 12:14 AM
Assert是Python用于調(diào)試的斷言工具，當(dāng)條件不滿足時拋出AssertionError。其語法為assert條件加可選錯誤信息，適用于內(nèi)部邏輯驗證如參數(shù)檢查、狀態(tài)確認(rèn)等，但不能用于安全或用戶輸入檢查，且應(yīng)配合清晰提示信息使用，僅限開發(fā)階段輔助調(diào)試而非替代異常處理。
如何一次迭代兩個列表
Jul 09, 2025 am 01:13 AM
在Python中同時遍歷兩個列表的常用方法是使用zip()函數(shù)，它會按順序配對多個列表并以最短為準(zhǔn)；若列表長度不一致，可使用itertools.zip_longest()以最長為準(zhǔn)并填充缺失值；結(jié)合enumerate()可同時獲取索引。1.zip()簡潔實用，適合成對數(shù)據(jù)迭代；2.zip_longest()處理不一致長度時可填充默認(rèn)值；3.enumerate(zip())可在遍歷時獲取索引，滿足多種復(fù)雜場景需求。
什么是Python型提示？
Jul 07, 2025 am 02:55 AM
typeHintsInpyThonsolverbromblemboyofambiguityandPotentialBugSindyNamalytyCodeByallowingDevelopsosteSpecefectifyExpectedTypes.theyenhancereadability，enablellybugdetection，andimprovetool.typehintsupport.typehintsareadsareadsareadsareadsareadsareadsareadsareadsareaddedusidocolon（
什么是Python迭代器？
Jul 08, 2025 am 02:56 AM
Inpython，IteratorSareObjectSthallowloopingThroughCollectionsByImplementing_iter __（）和__next __（）。1）iteratorsWiaTheIteratorProtocol，使用__ITER __（）toreTurnterateratoratoranteratoratoranteratoratorAnterAnteratoratorant antheittheext__（）
Python Fastapi教程
Jul 12, 2025 am 02:42 AM
要使用Python創(chuàng)建現(xiàn)代高效的API，推薦使用FastAPI；其基于標(biāo)準(zhǔn)Python類型提示，可自動生成文檔，性能優(yōu)越。安裝FastAPI和ASGI服務(wù)器uvicorn后，即可編寫接口代碼。通過定義路由、編寫處理函數(shù)并返回數(shù)據(jù)，可以快速構(gòu)建API。FastAPI支持多種HTTP方法，并提供自動生成的SwaggerUI和ReDoc文檔系統(tǒng)。URL參數(shù)可通過路徑定義捕獲，查詢參數(shù)則通過函數(shù)參數(shù)設(shè)置默認(rèn)值實現(xiàn)。合理使用Pydantic模型有助于提升開發(fā)效率和準(zhǔn)確性。
如何用Python測試API
Jul 12, 2025 am 02:47 AM
要測試API需使用Python的Requests庫，步驟為安裝庫、發(fā)送請求、驗證響應(yīng)、設(shè)置超時與重試。首先通過pipinstallrequests安裝庫；接著用requests.get()或requests.post()等方法發(fā)送GET或POST請求；然后檢查response.status_code和response.json()確保返回結(jié)果符合預(yù)期；最后可添加timeout參數(shù)設(shè)置超時時間，并結(jié)合retrying庫實現(xiàn)自動重試以增強(qiáng)穩(wěn)定性。
Python函數(shù)可變范圍
Jul 12, 2025 am 02:49 AM
在Python中，函數(shù)內(nèi)部定義的變量是局部變量，僅在函數(shù)內(nèi)有效；外部定義的是全局變量，可在任何地方讀取。1.局部變量隨函數(shù)執(zhí)行結(jié)束被銷毀；2.函數(shù)可訪問全局變量但不能直接修改，需用global關(guān)鍵字；3.嵌套函數(shù)中若要修改外層函數(shù)變量，需使用nonlocal關(guān)鍵字；4.同名變量在不同作用域互不影響；5.修改全局變量時必須聲明global，否則會引發(fā)UnboundLocalError錯誤。理解這些規(guī)則有助于避免bug并寫出更可靠的函數(shù)。
