?? ?? ? ??? ???? ??
? ??? ?? ?? ?? ???? ?? ?? ?? ?? ?? ??(MLLM)? ?? ??? ???? ? ?????. ?, MLLM? 2D ???? 3D ???? ?????. ??. ?????(AV)? 3D ??? ?? ??? ??? ??? ?? ??? ??? ??? ?? ?????. 3D ?? ??? ??? ??? ??? ??? ?? ??? ???? ??? ???? ?? ???? ??? ??? ???? ??? ??? ??? AV? ?? ?????.
?? ?? ?? ?? ?? ??(?: LLaVA-1.5)? ????? ??? ???? ??? ??, LLM ??? ?? ???? ?? ?? ???? ??? ??(?:)? ??? ? ????. ??? ?? ?? ???????? ??? ??? ???? ????? ??? ??? ?? ? ??? ???? ?? ? ??? ??? ?????. ??? ??? ?? 2D ?? ????? ???? ??? ? ???? ???? ???? ??? ??? ??? ????? ???? ? ???? ?? ????. ??? ??? ???? ?? ????? ??? ?? ????? ???? ???? ???? ?? ???? ????.
??? ???? ? ????? Q-Former ??? ???? ??? ??? 3D MLLM ????? ?????. ? ????? ?? ?? ???? ???? ???? ??? ??? ?? ??? ????? ???? ???? ? ?? ??? ? ????. ? ????? ?? ?? 3D ?? ????? ????? DETR3D, PETR(v2), StreamPETR ? Far3D? ?? ? ?? ???? ?????. ??? ??? 3D ?? ???? ???? ?? ? ??? ?? ?????? ??? ????? 3D ?? ??? ???? ?? ?? 2D ????? ?? ??? ??? ? ? ?????.
?? ????? ?? ??? ? ????? ?? ???? ????? OmniDrive-nuScenes? ?????. ????? 3D ?? ??? ??? ??? ??? ??? ??? ??? ???, ???? ??? ??????? ??? ???? ???? ?? ????? ?????. ? ????? ?? ??? ???? ?? ??? ???? ???? ??? ????? ???? ??? ??? ?? ???? ?????.
? ????? LLM ????? ???? ???? 3D ?? ? ?? ??? ???? ?? ?? ??? ?? ??? ???? ?? ???? ????? ???? ???? ????? ?? ?? ?????? OmniDrive? ?????. ???? ??? ??? ????.
- ?? ??, ?? ??, 3D ??? ?? ??, ?? ?? ? ??? ??? ??? ?? ?? ??? ??? 3D Q-Former ???? ? ??????.
- ??? 3D ?? ??? ??? ?? ?? ??? ????? ??? ??? QA ????? OmniDrive-nuScenes ????? ?????.
- ?? ???? ??? ??? ?????.
OmniDrive ?? ??
?? ??
? ??? ???? OmniDrive-Agent? Q-Former? ?? ?? 3?? ?? ??? ??? ???? 3?? ????? ???? ????? ???? ????. -??? ?? ??, ?? ?? ? 3D ?? ? ?? ?? ??. ???? ????? ??? ?? ????.
- Visual Encoder: ?? ??? ??? ???? ???? ??? ??? ??? ?????.
- ?? ???: ??? ??? ??? ?? ???? ?? Q-Former3D? ?????.
- Q-Former3D ??: ?? ? ?? ??? ?????. ???? ?? ?? ???? ???? ???????. ? ?? ?? ?? ???? ?? ???? ? ???. ? ? ? 3D ?? ???? ????, ? ??? ??? ??? ?????.
- ??? ??? ?? ??: ???? ??? ??? ??? ????? ??? ?????.
- ?? ??? ? self-attention: Q-Former3D??? ?? ??? ?? ??? ??????. Self-attention ??? ?? ???? ??? ???? ?? ?????:
- ?? ??:
- ?? ?? ??: ?? ??? ???? ?? ??? ??? ??? ?????.
- ??? ?? ?? ? ??? ??: ??? ??? ?? ??? MLP? ?? LLM ??? ??(?: LLaMA? 4096 ??)? ???? ??? ??? ??? ?????.
- ??? ??? ??
? ???? ??? ?? OmniDrive-Agent? ??? ????? ??? 3?? ?? ??? ????? ?? ?? LLM? ???? ??? ??? ?? 3?? ?? ??? ??? ? ????. ????? ??? ???? ?????.
?? ?? ? ?? ???
??? ??? ?? ?? ?? ? ?? ???? ??? ?????. ?? ?? ???? ??? ? ?? ??? ?? ?? Q-Former3D ??? ???? ??? ??? ??? ??? ? ????(cref{Training Strategy} ??). ??? ???? ???? ??? ??? ?? ??? ?? ??? ??? ? ????. ??? ????? ??? ?? ? 3D ?? ??? ?? ??? ????. ?? ? ?? ???? ??? ??? ??? 3D ?? ???? ?????. ??? ??? ??? ?? ? 3D ?? ??? ?? ??? ?????. ?? ? ?? ???? ??? ??? ??? 3D ?? ???? ?????. ??? ??? ??? ?? ? 3D ?? ??? ?? ??? ?????. ?? ? ?? ???? ??? ??? ??? 3D ?? ???? ?????.
?? ???? ???? ??? ?? k ?? ??? ?? ?? ??? ??? ??? ???? ????? ?????. ??? ??? ?? ??? ?? ?? ???? ?? ?? ? ??? ??? ?? ???? ??? ??? ?? ??? ?? ??? ?????.
Training Strategy
OmniDrive-Agent? ?? ??? 2D ?? ??? 3D ?? ??? ? ??? ????. ?? ???? ??? Q-Former ? ?? ??? ????? ?? ?? 2D ??? ??? ?? ?? ?? ?? ??(MLLM)? ?? ??????. ?? ??? ??? OmniDrive ??? ???? ???? ???? ??? ? ?? ?? ??? ?? ??? ??? ? ????. ??? ??? LLaVA v1.5? ?? ??? ???? ???? 558K ??? ? ??? ?? ?? OmniDrive? ?? ??????. ?? ?? ??? Q-Former? ??? ?? ????? ??? ??? ?????. ? ?, LLaVA v1.5? ??? ?? ??? ??? ???? MLLM? ?? ??????. ?? ?? ?? ??? ???? ??? ??? ???? ?? ????? ??? ? ????.
3D ?? ?? ????? ??? 2D ?? ?? ??? ??? ????? ??? 3D ?? ?? ??? ????? ?? ?????. ?? ?? ??? ?? Q-Former? 3D ?? ??? ? ??? ??? ??????. ? ???? ??? LoRA ??? ???? ?? ???? ??? ???? ??? ?? ??? ?? ???? ????? ? ???? Q-Former3D? ??????. ? ? ???? OmniDrive-Agent? ?? ???? BLIP-2? ?? ?? ? ?? ??? ???? ?? ??? ?? ??? ?????.
OmniDrive-nuScenes
?? ?? ?? ?? ???? ??? ?????? ?? ??? ??? ??? ?? ??(QA)? ??? nuScenes ??? ??? ???? ?? ??? ????? OmniDrive-nuScenes? ?????. 3D ??? ??, ?? ? ?? ??.
OmniDrive-nuScenes? ?????? GPT-4? ???? ??? ??? ???? ?? ???? QA ?? ???????. LLaVA? ???? ??? ?????? 3D ?? ??? GPT-4? ?? ??? ??? ?????. ?? ???? ??? GPT-4? 3D ??? ? ? ??? ? ??? ?? ?? ? ?? ?????? ?? ???? ?????. ??? ????? ??? ?? ? ?? ??? ???? ?? ??? ???, ???? ?? ? ?? ?? ??? ??? ?? ??? ?? ??? ?? ?? ?? ? 3D ????? ?? ??? ?????. ??? ???? ?? ??? ???? ?????. ?? ? ? ?? ??? ????? ????????.
???? ???? ?? ??? ??? ??? ??? ???? ??? ??? ?? ??? ????. ? ????? ??? 3D ?? ?? ? ?? ??? ????? ?? ??? ??? ?? ???? ? ? ????.
???? ?? ??
???? QA ?? ?????? ??? ??? ?? ??? ???? nuScenes?? QA ?? ?????. ??, ??? GPT-4? ???? ?? ??? ????, 3? ??? ?? ?? 3? ??? ?? ?? ? ?? ???? ???? ???? GPT-4? ?????. GPT-4? ???? ??? ?? ??, ??, ?? ?? ?? ??? ???? ? ???? ??? ???? ??? ???? ?? ??? ??? ??? ????? ?????. ?? ??? ??.
????, GPT-4V? ?? ?? ?? ??? ?? ??? ? ? ??? ? ??? ??? ??? ?? ?? ??? ?? ?? ??? ??? ????, ??? 3D ?? ??? ????, ?? ??? ??? ???? ?????.
?? ?? ??? ?? ??, ?? ?? ??, ??? ?? ?? ? ??? ?? ??? ??????? ??? ???? ?? ?? ?? ????? ???? ?? ???? ???? ??? ?? ?? ??? ??????. ?? ??? nuScenes ??? ???? ????? ??? ??????? ???? ?? ??? ???? ????? ??? ??? ??????.
????? ???? QA ?? ?????? ??? ??? ??? ???? ???? ?? ??, ?? ?? ??, ???? ?? ? ???? ??? ??? ?? ??? QA ?? ??? ? ????. GPT-4? ?????? ???? ??? ???? ?? ??? ????, ?? ??? ???? ???? ???? ?? ??? ??? ? ????.
??? ?? ??
?? ?? ??? ??? 3D ?? ??? ??? ???? ?? ??? ?? ???? ????? ??? ?? ?? ??? ??????. ??? ??? ??? ???? ??? 3D ?? ?? ? ?? ??? ????? ?? ???????.
- 2D?? 3D ???: ?? ???? 2D ?? ??? ???? ??? ?? ??? 3D ??? ???? ???. ????, ??, ??, ?? ? ??? ?????.
- 3D ??: ???? ??? 3D ??? ???? ?? ?? ??? ?? ??? ???? 3D ??? ?????.
- ???? ???: ???? ??? ?? ???? ???? ?? ??? ?? ??? ?? 3D ??? ?????.
Metrics
OmniDrive-nuScenes ??? ???? ?? ??, ?? ?? ?? ? ??? ?? ??? ?????. ? ??? ??? ??? ??? ??? ?? ??? ???? ????? ?????. ??? ??? ??? ??? ?? ?? ?? ?? ??? ??????.
?? ?? ?? ??(?: ?? ??, ?? ?? ??)?? ??? METEOR, ROUGE, CIDEr ? ????? ???? ?? ?? ??? ???? ?? ???? ?????. ??? ?? ???? ??? ???? ?? ?? ???? ???? ?? ??? ??????. ???? ?? ??? ?? ??? GPT-3.5? ???? ???? ???? ???? ??? ???? ?? ??? ???? ??? ?? ??? ?? ???? ???? ?????.
?? ??
? ?? ??? ?? ?? ??, ?? ?? ?? ? ?? ?? ??? ?? ?? ?? ??? ?????.
?? ??? Q-Former3D? ???? ??? ?? ?? ?? ?? ???? ??? ??? ?????. ???? ?? ???? ??? "?? ??? ??" ? "?? ?? ?? ??" ?? ???? ?? 57.6%/58.3% ? 48.5%/58.6%? ?? ???? ???? ???????. ??? ? ??? '??' ?????? ?? ?? ???(72.6%)? ??????. ??? ?? ???? Q-Former3D? ?? ???? ?? ?? ??? ???? ?? 3.79%? 4.59%? ???? ?? ??? ?????.
??? ?? ???(No Online)? ??? ?, ??? ?? ???? "??? ??" ??? ???? ?????(65.6%) ???? ??? ?? ??????. ?? ? ?? ?? ?? ??? ??? ? ???? ?? ???? ?? ?? ??, ??? ?? ??? ?? ???? 4.93%? ?????, ?? ?? ?? ???? 4.02%? ??????. , ?? ??? ?? ???? ???? ??? ???? ?? ?? ??? ???? ?????.
?? ?? ???? Q-Former2D ??? "Red Light Violation" ?????? ?? ?? ???(58.3%)? ?? ???(61.1%)? ?????, ?? ??????? ??? ???? ?? ?????. ?? "??" ? "?? ??? ?? ??" ????? ?? ??? ?? ??????. ??? ?? ???? ?? ???? ?? ?? ???? ?? 3.98%? 6.03%? ?? ???? ?????.
Dense BEV ????? ???? ??? ?? ??? ???? ?? ???? ? ?? ??? ????? ?? ???? ????. ??? ?? ???? ?? ???? ?? ?? ???? ?? 4.43%? 8.56%? ?????.
??? ??? ????(No Temporal) ???? ?? ???? ??? ??? ?? ????, ?? ?? ???? 6.07%? ???? ?? ?? ???? 5.83%? ?????.
?? ?? ???? ?? ? ??(?? ??)? ??? ? "??" ??? ?? ???? ?? ??? ??, ?? ??? ??? ?? ?? ? ?? ?? ?? ??? ??? ??? ????. ?? ? ??? ?? 3D ?? ??(No Object & Lane)? ??? ??? ?, ???? ?? ??? ? ??? ?? ???? ???? ?????, ?? "??" ??? ???? 53.2%? ??????. ??? ?? ???? ?? ???? ?? ?? ???? ?? 6.77%? 8.43%? ???? ?? ???? ??? ?????.
?? ?? ???? ? ? ??? ??? ??? ??? ?? ? ?? ?? ?? ???? ? ?????. ??? ?? ???, ?? ??, ?? ? ??? ?? 3D ?? ??? ?? ??? ????? ? ??? ??? ???. ?? ??? ???? ?? ? ?? ??? ?? ?? ?? ??? ????? ??? ? ???, ?? ?? ??? ?? ?? ???? ??? ?? ??? ?? ??? ??? ?????.
??? NuScenes-QA? ??? ???????. ?? ?? ?? ?? ???? OmniDrive? ??? ???? ?? ??? ?? ??? ?????. ??? ??? OmniDrive++(? ??)? ?? ??, ?? ??? ??? ?? ??, ??? ? ?? ?? ????? ?? ???? ??? ??? ???? ??? ??????.
OmniDrive++ ??: OmniDrive++ ??? ?? ?? 1?, 2?, 3??? ?? 0.14, 0.29, 0.55??? L2 ?? ??? ???, ?? ?? ??? 0.33??? ?????. ?? ? ??? ?? ???? ?? ???? ???? ?? 0.30%, 3.00%? ?? ?? ??? ?? ?? ?? ??? ???. ?? ??? ???? OmniDrive++? 1?? 2? ?? ?? ???? ??? 0? ???? ??? ?? ? ??? ?? ??? ???? ??????.
?? ???? ??: UniAD, BEV-Planner++ ? Ego-MLP? ?? ?? ?? ???? ??? ???? OmniDrive++? ?? ?? ???? ? ?? ??? ?????. UniAD? ?? ??? ?? ?? ??? ??? ? L2 ?? ??? 0.46m? ??, OmniDrive++? ??? ???? 0.33m? ?? ?? ??? ?????. ??? OmniDrive++? ???? ?? ?? ???? UniAD?? ??? ???, ?? ???? ?? ???? ?????.
BEV-Planner++? ???? OmniDrive++? L2 ??? ?? ?? ???? ?? ????, ?? 3? ?? ????? ??? 0.57???? 0.55??? ?????. ??? ???? ?? ?? ??? ????? OmniDrive++? BEV-Planner++?? ?????. ???? 0.34%?? 0.30%?, ?? ?? ???? 3.16%?? 3.00%? ??????.
?? ??: OmniDrive ????? ?? ??? ??? ??? ??? ??? ???? ?? ??? OmniDrive ??? ??? ??? ??? ??????. OmniDrive(?? ?? ? ?? ?? ??? ???? ??)? ?? ??, ???, ?? ?? ??? ???? ?? ??? ?? ??? ????, ?? 3? ?? ??? L2 ??? ??? 2.84??, ?? ???? 3.79%? ????.
OmniDrive ??? ???? ?(?? ?? ? ?? ?? ?? ??) ?? ??, ???, ?? ?? ???? ??????, ?? ??? ???? ??? ??? ????. ?? ?? ??? ?? ?? ?? ??? ??? ??? ???? ?? ?? ??? ??? ??? ???? ?? ????.
????? ?? ??? ?? ?? ?? ???? OmniDrive++? ??? ??? ???? ?????. OmniDrive++? ?? ?? ??, ?? ?? ?? ? ?? ?? ?? ??? ???? ??? ?? ???? ?? ??? ?? ??? ?? ??? ? ?? ?? ???? ???? ??? ?? ?? ?? ? ?? ??? ?? ??? ?????. ????.
Discussion
??? ??? OmniDrive ????? OmniDrive-nuScenes ?????? ?? ?? ?? ?? ??? ??? ????? ????, 3D ???? ?? ??? ???? ??? ?? ??? ???? ????? ?????. ??? ??? ??? ??? ??? ???? ??? ??? ????.
OmniDrive ????? 2D ?? ??? 3D ?? ????? 2?? ?? ??? ?????. 2D ?? ?? ????? LLaVA v1.5? ???-??? ? ??? ??? ???? Q-Former ? ??? ??? ?? ?????? ??? ??? ??? ?? ?? ?? ? ?? ??? ?????. 3?? ?? ?? ????? ??? 3?? ?? ?? ??? ????? ?? 3?? ?? ?? ???? ?? ??? ?????. LoRA? ???? ??? ???? ?? ??? ?? ?????? OmniDrive? 2D ???? ?? ??? ???? ??? 3D ?? ?? ??? ??????. ? ??? ?? ??? ?? ?? ?? ??? ???? ??? ???? 3D ?? ?????? ? ??? ??, ?? ? ?? ??? ?????. ??, OmniDrive-nuScenes? ?? ?? ?? ??? ???? ?? ??? ??? ??? ???????. ??? ???? QA ?? ????? ???? ???? ??? ??? ??? GPT-4? ?? ??? ??-?? ?? ?????. ?? ????? ??? ???? ??? ??? ?? ??? ??? ??? ???? 3D ??? ? ? ???? ? ??? ???. ? ??? ??? ??? ??? ?? ? ?? ??? ???? ?? ??? ???? ??? ?? ??? ?? ?? ? ?? ??? ????? ????. ? ???? ????? ??? ?? ?? ?? ?? ??? ?? ??? ??? ?????.
??? OmniDrive ????? OmniDrive-nuScenes ??????? ? ?? ??? ????. ??, OmniDrive ????? 3D ?? ?? ???? ?? ??? ?? ???? ??? ?? ??? ?? ??? ?? ?? ??? ???? ??? ?? ?????. ?? OmniDrive-nuScenes? ??? ??? ??? ??? ???? ????? ??? ??? ??? ??? ??? ?? ??? ? ????? ??? GPT-4? ???? ?????. ?? ?? ????? ?? ??? ?? ???? ???? ? ?????. OmniDrive-nuScenes? ???? QA ????? ????? ?? ????? ?? ?? ??? ??? ??????. ?????? ??? ?? ?? ? ?? ?????? nuScenes ??????? ??? ?? ?? ??? ??? ??? ?? ??? ??? ?? ????? ???? ????? ?????. ?? ??? ?? ????? ??? ???? ???? ?? ??? ??? ????? ??? ?? ? ??? ??? ??? ????.
??
??? ??? OmniDrive ????? OmniDrive-nuScenes ?????? 3D ?? ??? ?? ?? ?? ?? ??? ??? ??? ?? ????? ?????. OmniDrive ????? 2?? ?? ??? 2D ?? ??? 3D ?? ??? ????? ???? ??, ?? ? ??? ??? ??? ????. ??? QA ????? OmniDrive-nuScenes? ?? ?? ??? ???? ?? ???? ??? ?????. ??? ??? ?? ??? ?? ??? ?????, ??? ?? ?? ????? ????, ??? ??? ?? ?? ??? ?? ???? ????? ??? ?? ??? ??? ?????. ?????, ??? ??? ??? ??? ?? ???? ?? ?? ?? ?? ??? ????? ? ? ??? ??? ?? ??? ?? ??? ??? ?????.
? ??? LLM? ?? ???????! OmniDrive: 3D ?? ? ?? ?? ??(NVIDIA ??)? ?? ?????. ??? ??? PHP ??? ????? ?? ?? ??? ?????!
? AI ??
Undress AI Tool
??? ???? ??
Undresser.AI Undress
???? ?? ??? ??? ?? AI ?? ?
AI Clothes Remover
???? ?? ???? ??? AI ?????.
Clothoff.io
AI ? ???
Video Face Swap
??? ??? AI ?? ?? ??? ???? ?? ???? ??? ?? ????!
?? ??
??? ??
???++7.3.1
???? ?? ?? ?? ???
SublimeText3 ??? ??
??? ??, ???? ?? ????.
???? 13.0.1 ???
??? PHP ?? ?? ??
???? CS6
??? ? ?? ??
SublimeText3 Mac ??
? ??? ?? ?? ?????(SublimeText3)
???? ?????? ??? ??? ???? ??? ??????
Jun 02, 2024 pm 02:44 PM
?? ??? ?? ??? ?? ??? ?? ?? ???? ??? ??? ???? ????? ??????. ????? ??? ??? ?????? ?? ???, ? ?? ??? ?? ??? ????? ???. ??? ??? ??? ?? ?? ?? ??? ?????? ?? ?? ??? ???? ?? ?? ? ?????. ????? ?? ????? ???? ???? ??? ??????, ??? 5%? ??? ??? ?? ???? ??? ???? ??? ?????. ??? ???? ??? ???? ????, ???? ??, ??? ? ?? ?? ??? ?????. ?? ???? ?? ????? "???"? ?????(AV)? ?? ???? ???? ?? ??? ?? ??? ???????. ?? ??? ??
?????, ???? ???????! ??? ????? ?? ??, 180? ??? ???? ??? ???
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas? ????? ?? ?? ??? ??????! ?? ??? Atlas? ??? ???? "??? ???" ??????. ?? Boston Dynamics? ??? Atlas? ?? ???? ??????. ??? ????? ?? ????? ??? ?????? ???? ?????? ??? ?? ??? ???. ? ??? ??? ? 10?? ?? ?? 100? ?? ?? ???? ????. ? ???? ??? ??? ??? ???? ?? ??? ????. ??? ????? ??? ???? ??? ?? ??? ??? ????. ????? “??? ???? ?? ???? ???? ???, ???? ???? ?? ??. ??? ?? ????? ????”?? ??? ???. ?? ?? ???? ????? ??? ?? ?? ??? ?? ?? ?????. ??? ?? ? ???? ????
???? ?? ??? ?? ?? MoE ??? ??? ????. ??? ??? GPT-4? ???? ??? GPT-4-Turbo? ?? 1%? ?????.
May 07, 2024 pm 04:13 PM
?? ???? ??? ?? ??? ? ?? ???? ? ???? ??? ???? ?? ?? ??? ??? ???. ??? ???? ??? ????. DeepSeek-V2[1], ???? ?? ??? ?? ?? MoE ??? ??? ????. DeepSeek-V2? ???? ??? ???? ????? ??? ?? ???(MoE) ?? ??? ??? ?????. ?? 236B ????? ????, ? ? 21B? ? ??? ????? ? ?????. DeepSeek67B? ???? DeepSeek-V2? ? ??? ??? ???? ??? ?? ??? 42.5% ???? KV ??? 93.3% ??? ?? ?? ???? 5.76?? ????. DeepSeek? ?? ????? ???? ?????.
???? ??? ??? ??, ??? : ?? ?? ???? 22?? ?? ?!
May 06, 2024 pm 04:13 PM
???? ?? ????(Optimus)? ?? ??? ?????, ?? ???? ??? ??? ???. ?? ????? ???(???? 4680 ???)? ??? ?? ?????. ??? ?? 20? ??? ??? ??? ??????. ?? "??????"?? ?? ?? ?? : ??? ?????. ???? ????? ???? ? ??? ? ??? ?? ??? ?? ?? ??? ????? ???? ??? ?? ????. ??? Optimus? ???? ?? ?? ?? ??? ??? ?? ???? ???? ?? ?? ?? ????. NVIDIA ??? Jim Fan? Optimus? ?? ?? ?? ??? ????. Optimus? ?? ??? ?? ??? ?? ? ?????. ?? ?????. ?? ???? ?? ???
MLP? ???? KAN? ???? ????? ?? ?????? ???????.
Jun 01, 2024 pm 10:03 PM
?? ? MIT? ?? ??? ????? MLP? ?? ?? ??? ??? KAN? ??????. KAN? ???? ??? ???? MLP?? ?????. ??? ?? ?? ?? ????? ? ?? ?? ????? ???? ???? MLP?? ??? ??? ? ????. ?? ?? ??? KAN? ???? ? ?? ????? ? ?? ??? ???? DeepMind? ??? ????? ?????. ????? DeepMind? MLP?? ? 300,000?? ????? ?? ?? KAN?? ? 200?? ????? ????. KAN? MLP? ?? ??? ??? ??? ??? ???, KAN? Kolmogorov-Arnold ?? ??? ???? ???. ?? ??? ?? KAN?
Embedding ???? ?? ?? ??? OpenAI Text-Embedding-Ada-002? ????? ?? ?????!
Apr 15, 2024 am 09:01 AM
Ollama? Llama2, Mistral, Gemma? ?? ?? ?? ??? ???? ?? ??? ? ?? ?? ???? ?????. ?? ???? Ollama? ???? ???? ????? ??? ???????. Ollama? ??? ???? ?? ?? ? ??? ?? ? ????. ? ????? nomic-embed-text[2] ??? ?????. ?? ???? ? ? ???? ???? OpenAI text-embedding-ada-002 ? text-embedding-3-small?? ??? ??? ??? ??????. o? ????? ??? ? nomic-embed-text ???? ??????.
FisheyeDetNet: ?? ???? ???? ? ??? ?? ?? ????
Apr 26, 2024 am 11:37 AM
?? ??? ???? ????? ????? ??? ????, ? ? ??? ??? ?? ?? ???? ???? ? ?????. ???? ???? ?? ???? ??? ???????. ??? ???? ?? ?? ?? ???? ??? ?? ??? ????? ? ???????. ? ??? ???? ?? ?? ?? ?? ??? ?? ????? ???? ?????. ?? ??? ???? ?? ??? ?? ??, ?? ? ?? ??? ???? ?/? ???? ???? ???? ?? mIOU ???? ???? ??? ??? ?????. ??? ??? ??? ?? fisheyeDetNet? ?? ???? ??? ???? ??? ?? ??? ?? Valeo fisheye ??? ??? ???? 49.5% mAP? ?????.
???? ??? ?? ??! ??: 3D SOTA? 2D ??? ??! (CVPR\'24)
Apr 23, 2024 pm 01:20 PM
?? ?? ???? ??: https://nianticlabs.github.io/mickey/ ? ?? ??? ???? ?? ?? ?? ??? ???? ? ?? ?? ??? ??? ??? ??? ? ????. ????? ??? ??? 2D?? 2D? ????? ??? ??? ??? ?? ???? ????. ?? ???? ???? ?? ??? ?? ?? ??????? ?? ????? ?? ??? ????? ??? ???? ?? ?? ?? ???? ?????. ? ????? 3?? ??? ???? ??? ???? ??? ? ?? ???? ?? ????? MicKey? ?????. ??? ??? ?? 3D ?? ??? ?????? ?? ??? ??? ? ????.
