?? ??? ????? ? ??? Microsoft SliceGPT? LLAMA-2? ?? ???? ?? ????.
Jan 31, 2024 am 11:39 AM
??? ?? ??(LLM)? ????? ??? ?? ????? ??? ?? ?? ??? ?? ?????. ??? ??? ??? ???? ???? ? ??? ?? ?? ???. ?? ?? ??? ??? ?? ??? ?? ?? ??? ?? ?????.
??? ?? ?? ??? ????? ??, ?? ??(?? ???? ??), ???? ? ???? ? ?? ??? ?? ? ????. ???? ??? ??? ???? ??? ??? ???? ?? ???? ? RFT(?? ?? ??)? ??? ??? ?? ?? ????? ??? ?? ?? ??? ?????.
ETH Zurich? Microsoft? ????? SliceGPT?? ? ??? ?? ???? ??????. ? ??? ?? ????? ??? ??? ???? ?? ??? ???? ?? ?? ???? ????? ??? ??? ??? ????. SliceGPT? ??? ? ??? ?? ???? ???? ?????.
????? SliceGPT? ???? ?? GPU? ???? ? ?? ?? ??? ??? ??? ? ??? RFT ??? ?? ? ????? ???? ??? ?? ??? ??? ? ???? ??????. ?? ?? ??? ICLR 2024? ???????.
- ?? ??: SLICEGPT: ?? ?? ???? ??? ?? ?? ??
- ?? ??: https://arxiv.org/pdf/2401 .15024.pdf
???? ??? LLM? ?? ??? ??? ?? ??? 0?? ???? ?? ??? ????? ?????? ???? ???? ?????. ?? ?? ???? ??? ???? ?? ?? ??? ??? ???? ?? ??? ???? ?? ???? ?????.
??? ??? ??? ??? ??? ??? ??? ??? ???? ?????. ?? ??? ? ????? ? ?? ?? ??? ?? ? ????. ?? ???? ??? ?? SliceGPT? ??? ??? ?? ??? ?? ???(?????!) ???????. ?? ?? ????? ??? ???? ?? ?? ??? ?? ?? ????? ???? ??? ????.
? ?? ??? ??? ???? ?? ??? ???? ???? ??? ?????.
?? ?? 1? SliceGPT ??? ?? ??? ??? ?????.
??? ???? ??? ?? SliceGPT? LLAMA-2 70B, OPT 66B ? Phi-2 ??? ?? ?? ????(??? ??)? ?? 25% ???? ??? 99%? ????? ??? ? ??? ??????. ??? ??? ?? 99% ? 90%? ?? ?? ?? ??? ?????.
SliceGPT? ??? ??? ? ?? ?? GPU?? ??? ? ??? ?? ?? ??? ?? ? ??? ??? ? ????. 24GB ???? GPU?? ??? LLAMA-2? ?? ?? ??? 70B? ???? ? ?? 64%? ?????. 40GB A100 GPU??? ??? ?? ????? 66%? ?????.
?? ??? SliceGPT? ???? ?? Transformer ????? ??? ??? ?? ???? ??????.
SliceGPT ???
SliceGPT ??? Transformer ????? ??? ?? ???? ?????. ?? ? ?? ??? ??? ?? ??? ???? ?? ?? ???? ?? ?? ??? ? ??? ?????. ??? ???? ?? ?? ???? RMSNorm ??? ??? ??? ??? ???? ?? ??????. ??? ??? ?? ?????.
???? ??? ?? RMSNorm ??? ???? Transformer ?????? ???? ???? ??? ??? ?? LayerNorm ??? ??? ????? RMSNorm?? ???? ??? ?????. ???? ??? ??? ??(PCA)? ???? ? ???? ??? ?????? ?? ?? ??? ???? ???? ??? ?????. ?????, ?? ?? ?? ??? ???? ?? ????? ??? ?? ??? ?? ??? ????? ?????.
Transformer ????? ?? ???
Q? ???? ?? ??? ?????. 
- ??? ???? ?? ?????.
X_?? Transformer ??? ????? ????, RMSNorm? ?? ??? ? RMSNorm(X_?) ??? ?? ??? ?????. RMSNorm ?? ?? ?? Q? ?? RMSNorm ?? Q^?? ?? ?? ???? ???? ?? ??? ? ?? Q? ???? ????? Q^ ?? ???? ??? ????? ???? ?? ??? ?????.
?? ????? ? Attention ?? FFN ??? ?? ? ??? ?? ?? ??? ????? ?? ?? Q? ??? ?? ??? ??? ? ????. ?????? ?? ??? ???? ???? Q? ?? ?? ???(?????)? ?? ?? ???(LM ????)? ???? ????? ???.
?? ??? ?? ???? ?? ??? ???? ?? ??? ?????. ? ??? ???? ??? ???? ?? ???? ???? ?? ?? Q? ??? ? ???? ?? ?? ???? ??? ??? ? ????. ??? ?? ?? ?????? ??? ?? ??? ?????.
?? 1: 
? 
? RMSNorm ??? ??? ????? ? ?? ???? ??? ??? ??, 
? 
? ?? ????(?? ??)? ??, W_embd ? W_head? ??? ?? ? ?????. ?? . Q? ?? D? ?? ????? ???? ?? ????? ?? ??? ????? ?????.
?? ???? ? ?? ???? ??:
? ????? ?? ??? ? ????. 1 ??? ????? ?? ????? ??? ??? ????? ?? ?????.
LayerNorm Transformer? RMSNorm?? ??? ? ????.
Transformer ????? ?? ???? RMSNorm ??? ?????? ?????. LayerNorm? ???? ????? ???? ?? ???? ?? LayerNorm? ?? ??? ??? ??? ???? ????? RMSNorm?? ?????.
?? 3? Transformer ????? ??? ??? ?????(?? 2 ??). ? ???? ???? ?? ?? W_out? ?? ?? ?? M? ????. ?? ?? LayerNorm? ?? ??? ?????. ?? ?? W_in?? ?? LayerNorm ??? ??? ?? ?????. ??? ?? W_embd? ?? ??? ??? ?? W_head? ??? LayerNorm? ??? ?? ??? ?? ???? ???. ?? ?? ??? ??? ???? ???? ??? ??? ?? ????.
? ??? ??
?? ???? ?? LayerNorm? RMSNorm?? ??????? Q? ???? ??? ??? ? ????. ??? ?? ??? ???? ??? ???? ? ??? ???? ?? ??? ??? ?? ????? ??? ???? ??????. ??? ????? ?? ?? ??? ??? ???? ????? ? ??? ?? ?? ?? ?? Q_?? ???? ??? ?? ?? ??????.
? ??? ??? ?? ??? ?? ?? ??? ???? ????. ?? ??? ???? 1? 5?? ???? ?? 1? ?????. ???? ?? ??? ??? ??? ??? ???? ?? ? ? ????. ? ??? ???? ?? ??? ??? ?? ???? ?? ??? ?????. 
?? 4? ?? ??? ?? ?? ?? ??? ???? ??? ???? ??? ??? ???? ??? ?????. ??? ?? ??? ?? ??? ?? ??? ?? ??? ? ??? ??? ??(D × D) ????? ?????. ??? ??? ????? ??? ??? ???? ?? ??? ???? ?? ? ? ????.
?? Q_?? ???? ?? ??? PCA? ??????. ?? ???? ?? ??? ??? ???? ??? ?? ?? ??? ??(LayerNorm ??? RMSNorm?? ??? ?) ?? ???? ?? ?? ??? ?????. ? ???? ???, ??? ????? ??? ???? ?? ???? ?? ??? ?????. ?? ????? 
? ?? ??? ??? i?? ???? ?? ??? RMSNorm ??? ??? ?? ??? ?????. 
?? Q_?? C_?? ?? ??? ?????. ???? ???? ??.成 ?? 分 ??? ??? ??? ??? ?? X? ?? ??? ?? Z? ???? ?? ??? :
? ? Q?
? ???? D? ??? ??? ?? ?? ?? ???? ? ???? D × D ?? ?? ??(D × D ?? ??? D ?? ? ??). QD?? ????? ?? ???? ??? ???? L_2 ?????. 
? ?? ?? ??????(?? 4 ??). 
Generation task
??? WikiText-2?? SliceGPT? SparseGPT? ???? ? ??? ??? OPT? LLAMA-2 ?? ???? ?? ?? ??? ????. ??? ??. ? 1? ??? ??? ??? ???? ??? ???? ???? ?????. LLAMA-2 ??? ????, SliceGPT? OPT ??? ???? ? ??? ??? ????, ?? ?? ???? ??? ???? ? ??? ??? ????.
SliceGPT? ??? ?? ??? ???? ?????. SparseGPT 2:4 ??? ?? LLAMA-2 ??? ??? ?? 25% ????? SliceGPT?? ??? ?????. OPT? ?? 2.7B ??? ??? ?? ???? ???? 30%? ??? ???? 2:4? ?? ? ?? ?? ??? ? ??.
?? ?? ??
??? PIQA, WinoGrande, HellaSwag, ARC-e ? ARCc? 5?? ??? ???? ?? ?? ???? SliceGPT? ??? ??????. LM ?? ???? ???? ??????. ?? ??????.
?? 5? ? ??? ?? ??? ??? ?? ?? ??? ?????. ??? ??? WikiText-2?? SliceGPT? ?? ???? ????, ???? Alpaca?? SliceGPT? ?? ???? ?????. ?? ????? ????? ????? ??? ??? ? ? ????. OPT ??? LLAMA-2 ???? ??? ? ? ????, ??? ??? ???? ? ??? ??? ? ??????.
??? Phi-2? ?? ?? ???? SliceGPT? ??? ???????. ??? Phi-2 ??? ??? LLAMA-2 7B ??? ??? ??? ?????. ?? ? OPT ? LLAMA-2 ??? ????? ??? ? ???, SliceGPT? 66B OPT ???? 30%? ??? ? ? ??? ???? ?????.
??? RFT(Recovery Fine Tuning) ??? ??????. LoRA? ???? ???? LLAMA-2 ? Phi-2 ??? ?? ??? RFT? ???????.
?? ??? ?? 6? ?? ????. WikiText-2? Alpaca ??? ?? ?? RFT ??? ??? ??? ??? ??? ? ??? ??? Alpaca ??? ???? ? ?? ??? ?????. ??? ???? ?? ??? Alpaca ??? ??? ??? ?? ??? ? ??? ????? ?????.
?? ? LLAMA-2 70B ??? ?? 30%? ???? RFT? ??? ? Alpaca ??? ??? ?? ?? ???? 74.3%?? ?? ?? ??? ???? 76.6%???. ??? ?? LLAMA-2 70B? ? 51.6B ????? ???? ???? ?? ???????.
??? ?? Phi-2? WikiText-2 ??? ??? ??? ???? ?? ???? ??? ? ???? Alpaca ??? ????? ? ???? ???? ??? ? ??? ??? ??????. 25% ??? RFT? Phi-2? Alpaca ??????? ?? 65.2%? ???? ???, ?? Dense ??? ???? 72.2%???. ?? ??? 2.2B ????? ???? 2.8B ?? ???? 90.3%? ?????. ?? ?? ?? ????? ????? ??? ? ??? ?????.
???? ???
?? ???? ??? ?? SliceGPT? ?? X? (????) ???? ?????. ?? ? X? ?? ??? ??? ?????. ? ?? ??? SliceGPT ?? ??? ?? ???(?? ??? ?? ?)? ????? ??? ?? ???? ??????.
80GB H100 GPU?? ??? ??? 128? ???? ??? ??? ????? ? ?? ?? GPU ???? ????? ???? ??? ??? ?? ???? ????. ??? 25% ? 50% ??? ??? ???? 80GB H100 GPU? ?? ?? ??? ??????. 25% ???? ??? ?? 1.55?? ??? ??? ??????.
50% ??????? ?? ? ??? ?? GPU? ???? 3.13x ? 1.87x? ???? ?? ??????. ?? GPU ??? ???? ???? ??? ???? ?? ?? ??? ?? ?? 6.26?? 3.75?? ???? ?????.
50% ???? ? WikiText2? SliceGPT? ???? ???? SparseGPT 2:4?? ???? ???? SparseGPT ??? ?? ?????. 13B ??? ??? ?? ? ?? ???? ???? ??? GPU? ? ?? ??? ?? ???? ??? ? ????.
Inference time
??? SliceGPT? ??? ??? ??? ?? ? ?? ??? ??????. ? 2? Quadro RTX6000 ? A100 GPU?? OPT 66B ? LLAMA-2 70B ??? ?? ?? ??? ???? ? ??? ??? ?????. RTX6000 GPU??? ??? 25% ?? ? ?? ??? 16~17% ??? ??, A100 GPU??? ??? 11~13% ??? ?? ??? ? ????. LLAMA-2 70B? ?? RTX6000 GPU? ???? ? ??? ?? ??? ?? ?? ??? ?? 64% ??????. ??? ??? ??? SliceGPT? ?? ??? ??? ? ?? ??? ??? ???? ?? ???? ????? ??? ? ?? ??? ??? ???? ????? ?????.
??? ? ?? ?? ???? ?? SparseGPT 2:4?? ????? ?? ??? ??? ? ??? ?????. ?? ??? ???? ? ??? ??? ??? ???? SliceGPT? SparseGPT 2:4? ??????. ??? ?? ??? ?? SliceGPT(25%)? ?? ?? ? ??? ???? SparseGPT(2:4)? ?????? ?? ??????.
?? ??
?? LLAMA-2, OPT ? Phi-2 ??? ?? GPU?? 1~3?? ?? ??? ? ????. ? 3?? ? ? ??? Recovery Fine-Tuning? ?? ?? LM? 1~5?? ?? ??? ? ????.
??? ??? ??? ??????.
? ??? ?? ??? ????? ? ??? Microsoft SliceGPT? LLAMA-2? ?? ???? ?? ????.? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!
? AI ??
Undress AI Tool
??? ???? ??
Undresser.AI Undress
???? ?? ??? ??? ?? AI ?? ?
AI Clothes Remover
???? ?? ???? ??? AI ?????.
Clothoff.io
AI ? ???
Video Face Swap
??? ??? AI ?? ?? ??? ???? ?? ???? ??? ?? ????!
?? ??
??? ??
???++7.3.1
???? ?? ?? ?? ???
SublimeText3 ??? ??
??? ??, ???? ?? ????.
???? 13.0.1 ???
??? PHP ?? ?? ??
???? CS6
??? ? ?? ??
SublimeText3 Mac ??
? ??? ?? ?? ?????(SublimeText3)
?? ???? ?????? ?? ?? ETH? ?? ??? ??????
Jul 31, 2025 pm 11:00 PM
?? ??? ??? ??? ?????? ?? ? ?? ???? ?????, ?? ?? ETH? ??? ???? ?? ? ????. 1. Binance ? Ouyiok? ?? ?? ??? ???, ??? KYC ?? ? Stablecoins?? ?? ETH? ?? ??? ??????. 2. ?? ? ???? ?? ??? ????? ???? Stablecoin ?? ?? ??? ?? ETH? ?????. 3. ???? ??? ???? ?? ??? ????? ??? ? ?? (32 ETH ??), ?? ?? ??? ?? 1 ?? ??? ???? ??? ?? ? ????. 4. Web3 ????? ???? ????? ??? ????? ?? ??? ????? ETH? ????. ???? ?? ?? ??? ????? ???? ?? ?? ? ???? ???? ?? ?? ? ?? ??? ?? ???? ???? ?? ????.
?? ???? ?? ?? ? ???? ???? ??? ?????? 2025 ? ?? ??? ? ??
Jul 29, 2025 pm 06:36 PM
2025 ?? Stablecoin ??? ???? ? ?? ??? ??? ??? ????. 1. Binance, ???? ??? ? ??? ?? ?, ?? ??? ??? ?? ???? ? ??; 2. OUYI, ??? ?????? ??? ?? ??? ?? OUYI? Web3 ?? ? Defi? ? ?? ??? ?????. 3. CoinmarketCap, ?? ??? ??? StableCoin ??? ?? ?? ??? ??? ? ? ????. 4. ??? ? ??? ??? ?? Coingecko? ?? ?? ? ???? ?? ??? ???? ?? ??? ??? ????. 5. ?? ?? ??? ??? ???? ?? ??? ??? ? ????? Huobi (HTX); 6. Gate.io, ??? ??? ?? ??? ?? ?? ?????, ????? ???? ?????? ? ?? ?????. 7. TRA
Ethena ?? ?? : Stablecoin? ? 3 ??? ??
Jul 30, 2025 pm 08:12 PM
?? ?? ????? Battle Royale? ?? ??? ?? ???? ?????. ?? 2023 ? 8 ?, Makerdao ?? ?? ???? ???? ?? $ DAI8%? ??? ?????. ?? ?? Sun Chi? ? 230,000 ??? Steth? ???? Spark? ??? 15% ??? ???? Makerdao? ???? 5%? ????? ?? ?????? ??????. Makerdao? ?? ??? $ DAI? ???? "???"?? ?? ??? ?? Justin Sun? ?? ?????????. 2025 ? 7 ?, Ethe
Binance Treehouse (Tree Coin) ? ?????? ???? ?? ??? ????? ??, ?? ?? ?? ? ?? ??
Jul 30, 2025 pm 10:03 PM
Treehouse (Tree) ? ?????? Treehouse (Tree)? ??? ?????? ?? ??? ?? TETHDOR- ? ??? ?? ?? ?? ?? ??? ?? ???? ?? ?? ? ?? ?? ?? 2025 ??? ?? ?, ??? ? ??? ?? ??? ?? ? ?? ?? ??? ?? Defi? ?? ???? ??? ?? ?? ??? ?? ??? ???? ???, ??? ???? ?? ???? ?? ??? ?????. ??? ?? ??? ?????
?? ?? (ETH) NFT? 7 ? ?? ?? 1 ? 6 ?? ??? ???? ?? ??
Jul 30, 2025 pm 10:06 PM
?? Crypto Market Panoramic Nugget ???? ?? Vinevine (114.79%, ?? ?? ?? 1 ? 4,400 ? ??) ?? ?? (16.46%, ?? ?? ?? 2 ? 9 ?? ??) Navxnaviprotocol (10.36%, ?? ?? ?? 35.762 ?? ??) ??? NFT ??? ?? NFT ?? ? ??? ??? ?? NFT ?? ? Cryptopunks? Decentralized Prover Network Coundinct?? 1 ?? ??????. Token Tge ? ? ????.
Solana? Base Coin? ????? ??? ?????. ??? ??? '?? ??'? ??? ????.
Jul 30, 2025 pm 09:24 PM
"Creator Tokens"? ??? ?? ?? ? ??? ??? ?? ??? ?? ?? ?? ????. Base and Solana? ? ?? ?? ?? ?? Helmsmans? ?? ?? ??? ???? Zora? Pump.fun? ?? ??? ??? ?? ???? ?? ?? ??? ?????. ? ???? ?? ? ??? ???? ????? ?? ???. ??? ???? : Zora? ?? Sterling Crispin? ??? Delcomplex? ??? ? Sterling Crispin? ?? ???? ?? ??? ????? ????. Zora? ?? ??? ?? ?????, ??? ???? ? ??? ?? ?? ??? ???.
? (ZRC ??)?? ?????? ???? ??? ZRC ???? ??, ?? ?? ? ?? ??
Jul 30, 2025 pm 09:15 PM
???? ?? ?? ????? ????? ?? ?? AI ?? EVM ??? ?? ?? ?? ?? ?? ??? ?? ???? ZRC (ZIRCUIT) ?? (ZRC) ?? ?? ?? ZRC ??? ???? ??? ?? ?? ? ? ??, ETHEREUM (ETHERIM) LAYER1 ????? ???? ???? Layer2 ?? ?? ???? ?? ??? ?? ???? ??, ?? ?? ??? ? ?? ?? ?? ?? ??????. ??? ??? ? ??? ?? ??, ?? ???? ?? ?? ?? ??? ?????.
Binance ?? ??? ???? ??? ?????? ??? ???
Jul 31, 2025 pm 07:09 PM
Binance ??? ???? ??? ?? ?? IP ??, ???? ??, KYC ?? ??, ?? ??, ?? ??? ?? ? ??? ?? ??? ?? ?????. 1. ???? ???? ???? ?? ???? ?? ?? ??? ??????. 2. ???? ??? ??? ??? ???? ??? ??????. 3. ???? ?? ??? ??? ??????. 4. ???? ??? ????? ??? ??????. 5. ?? ?? ??? ??? ?? ?????? ??????. 6. ?? ? ?? 2FA? ?????, ?????? ? ?? ?? ??? ??? ? ? ????.? ??? 10 ? ??? ??? ???? 90%?? ??? ???? ?? ? ?? ?? ??? ?? ? ? ????.
