0.この記事は何をするのですか?

提案された DepthFM: 多用途かつ高速な最先端の生成単眼深度推定モデル 。従來の深度推定タスクに加えて、DepthFM は深度修復(fù)などの下流タスクでも最先端の機(jī)能を?qū)g証します。 DepthFM は効率的で、いくつかの推論ステップ內(nèi)で深度マップを合成できます。

この作品を一緒に読みましょう~

1. 論文情報(bào)

タイトル: DepthFM: フローマッチングによる高速単眼深度推定

著者: Ming Gui、Johannes S. Fischer、Ulrich Prestel、Pingchuan Ma、Dmytrokotovenko、Olga Grebenkova、Stefan Andreas Baumann、Vincent Tao Hu、Bj?rn Ommer

機(jī)関: MCML

元のリンク: https://arxiv.org/abs/2403.13788

コードリンク: https://github.com/CompVis/ Depth-fm

公式ホームページ: https:// Depthfm.github .io/

2. 要約

は、下流の観光タスクやアプリケーションの多くにとって重要です。この問題に対する現(xiàn)在の識(shí)別方法は不鮮明なアーティファクトによって制限されていますが、最先端の生成方法は SDE の性質(zhì)によりトレーニング サンプル速度が遅いという問題があります。ノイズから始めるのではなく、入力畫像から深度畫像への直接マッピングを求めます。解空間內(nèi)の直線軌道が効率と高品質(zhì)を提供するため、これはフロー マッチングによって効率的に構(gòu)築できることがわかりました。私たちの研究は、事前トレーニングされた畫像拡散モデルがフローマッチングの深いモデルのための十分な事前知識(shí)として使用できることを示しています。複雑な自然シーンのベンチマークでは、私たちの軽量アプローチは、少量の合成データのみでトレーニングされているにもかかわらず、有利な低計(jì)算コストで最先端のパフォーマンスを?qū)g証します。

3. 効果のデモ

DepthFM は、強(qiáng)力なゼロサンプル汎化機(jī)能を備えた高速推論フロー マッチング モデルで、強(qiáng)力な事前知識(shí)を利用でき、非常に使いやすいです。 . 未知の実像に簡(jiǎn)単に一般化できます。合成データでトレーニングした後、モデルは未知の実際の畫像に対して適切に一般化され、深度畫像と正確に一致します。

他の最先端のモデルと比較して、DepthFM は 1 回の関數(shù)評(píng)価のみで非常に鮮明な畫像を取得します。 Marigold の深度推定には DethFM の 2 倍の時(shí)間がかかりますが、同じ粒度で深度マップを生成することはできません。

4. 主な貢獻(xiàn)

(1) 最先端の多機(jī)能高速単眼鏡DepthFMの提案深度推定モデル。従來の深度推定タスクに加えて、DepthFM は、深度修復(fù)や深度條件付き畫像合成などの下流タスクでも最先端の機(jī)能を?qū)g証します。

(2) は、トレーニング データにほとんど依存せず、実世界の畫像を必要とせずに、拡散モデルからフロー マッチング モデルへの強(qiáng)力な畫像事前分布の転送が成功したことを示しています。

(3) は、フロー マッチング モデルが効率的であり、単一の推論ステップ內(nèi)で深度マップを合成できることを示しています。

(4) DepthFM は合成データのみでトレーニングされているにもかかわらず、ベンチマーク データセットと自然畫像で良好なパフォーマンスを発揮します。

(5) 表面法線損失を補(bǔ)助ターゲットとして使用して、より正確な深度推定を取得します。

(6) 深さの推定に加えて、その予測(cè)の信頼性も確実に予測(cè)できます。

5. 具體的な原則は何ですか?

トレーニング パイプライン。 トレーニングは、フロー マッチングと表面法線損失によって制限されます。フロー マッチングの場(chǎng)合、データ依存のフロー マッチングを使用して、グラウンド トゥルースの深さと対応する畫像の間のベクトル フィールドを回帰します。さらに、表面法線の損失によって幾何學(xué)的なリアリズムが実現(xiàn)されます。

データ関連のフロー マッチング: DepthFM は、畫像と深度のペアを利用して、畫像分布と深度分布の間の直線ベクトル場(chǎng)を回帰します。このアプローチにより、パフォーマンスを犠牲にすることなく、効率的な複數(shù)ステップの推論が促進(jìn)されます。

拡散事前分布からの微調(diào)整: 著者らは、強(qiáng)力な畫像事前分布を基本畫像合成拡散モデル (安定拡散 v2-1) からフロー マッチング モデルにほとんど変換せずに転送することに成功したことを?qū)g証します。依存関係トレーニング データを使用するため、現(xiàn)実世界の畫像は必要ありません。

補(bǔ)助表面法線損失: DepthFM が合成データでのみトレーニングされていることを考慮すると、ほとんどの合成データ セットはグラウンド トゥルースの表面法線を提供し、表面法線損失は補(bǔ)助ターゲットとして使用されます。 DepthFM 深度推定の精度を向上させます。

6. Результаты экспериментов

DepthFM демонстрирует значительную способность к обобщению, обучаясь только на 63 тысячах чисто синтетических образцов, и может выполнять обучение нулевого уровня на наборах данных внутри и снаружи. Оценка глубины выстрела. В таблице 1 качественно показано сравнение производительности DepthFM с соответствующими современными моделями. В то время как другие модели часто полагаются на большие наборы данных для обучения, DepthFM использует богатые знания, присущие базовой модели, основанной на диффузии. Этот метод не только экономит вычислительные ресурсы, но и подчеркивает адаптивность и эффективность обучения модели.

Сравнение оценки глубины Marigold на основе диффузии, эталонного теста Flow Matching (FM) и модели DepthFM. Каждый метод оценивается с использованием только одного члена ансамбля и с различным количеством оценок функций (NFE) на двух общих эталонных наборах данных. По сравнению с базовой линией FM, DepthFM объединяет нормальные потери и связь, зависящую от данных во время обучения.

Качественные результаты для моделей Marigold и DepthFM при различном количестве функциональных оценок. Стоит отметить, что Marigold не дает никаких значимых результатов посредством одношагового вывода, в то время как результаты DepthFM уже показывают реальную карту глубины.

Выполните глубокое завершение в Hypersim. Слева: придание глубины. Средняя: Глубина оценивается на основе заданной частичной глубины. Справа: Истинная глубина.

#7.Резюме

DepthFM, метод сопоставления потоков для монокулярной оценки глубины. Путем изучения прямого сопоставления между входным изображением и глубиной, а не шумоподавления нормального распределения в карте глубины, этот подход значительно более эффективен, чем текущие решения на основе диффузии, но при этом обеспечивает мелкозернистые карты глубины без общих артефактов дискриминационной парадигмы. . DepthFM использует предварительно обученную модель диффузии изображения в качестве априорной, эффективно передавая ее в модель сопоставления глубокого потока. Таким образом, DepthFM обучается только на синтетических данных, но при этом хорошо обобщает естественные изображения во время вывода. Кроме того, было показано, что нормальные потери на вспомогательной поверхности улучшают оценку глубины. Облегченный подход DepthFM является конкурентоспособным, быстрым и обеспечивает надежные достоверные оценки.

Читатели, которых интересуют дополнительные экспериментальные результаты и подробности статьи, могут прочитать оригинальную статью