＃＃＃こんにちは、みんな。

今日は、転倒検出プロジェクトについてお話したいと思います。正確には、骨格點(diǎn)に基づく人間の動(dòng)作認(rèn)識(shí)です。

#大きく分けて 3 つのステップ

#人體を認(rèn)識(shí)する

• #人間の骨格を認(rèn)識(shí)します。
• アクション カテゴリ
• をクリックします。プロジェクトのソース コードがパッケージ化されています。入手方法については、記事の最後を參照してください。

0.chatgpt

まず、監(jiān)視対象のビデオ ストリームを取得する必要があります。このコードは比較的修正されており、chatgpt に直接完了させることができます。

#chatgpt によって書かれたこのコードは問(wèn)題なく、直接使用できます。

しかし、メディアパイプを使用して人間のスケルトン ポイントを識(shí)別するなどのビジネス タスクに関しては、chatgpt によって與えられるコードは正しくありません。

chatgpt はビジネス ロジックから獨(dú)立したツールボックスとして使用できると思います。chatgpt に任せて完成させることもできます。

したがって、今後のプログラマーに求められる要件は、ビジネスの抽象化能力がより重視されるようになると思います。早速、本題に戻りましょう。

1. 人體認(rèn)識(shí)

人體認(rèn)識(shí)では、YOLOv5 などのターゲット検出モデルを使用できます。YOLOv5 モデルのトレーニングに関する多くの記事も以前に共有しました。

ただし、ここでは YOLOv5 ではなく、mediapipe を使用しました。 Mediapipe は CPU 上でより高速に動(dòng)作し、スムーズに動(dòng)作するためです。

2. スケルトンポイントの認(rèn)識(shí)

スケルトンポイントの認(rèn)識(shí)にはアルファポーズやオープンポーズなど多くのモデルがあり、モデルごとに認(rèn)識(shí)されるスケルトンポイントの數(shù)や位置が異なります。たとえば、次の 2 種類:

mediapipe 32 ボーン ポイント

coco 17 ボーン ポイント

私は今でもボーン ポイントの認(rèn)識(shí)に mediapipe を使用していますが、速度が速いことに加えて、もう 1 つの利點(diǎn)は、mediapipe が多くのボーン ポイント (そのうち 32 個(gè)) を認(rèn)識(shí)し、ニーズを満たすことができることです。以下で使用する人體の動(dòng)きの分類は骨格點(diǎn)に大きく依存しているためです。

image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
results = pose.process(image)

if not results.pose_landmarks:
continue

# 識(shí)別人體骨骼點(diǎn)
image.flags.writeable = True
image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)

mp_drawing.draw_landmarks(
image,
results.pose_landmarks,
mp_pose.POSE_CONNECTIONS,
landmark_drawing_spec=mp_drawing_styles.get_default_pose_landmarks_style()
)

3. 行動(dòng)認(rèn)識(shí)

行動(dòng)認(rèn)識(shí)は、スケルトン行動(dòng)認(rèn)識(shí)に基づく時(shí)空間グラフ畳み込みネットワークを使用します。オープンソース ソリューションは STGCN (Skeleton-Based Graph) です。畳み込みネットワーク )

https://github.com/yysijie/st-gcn

落下などの一連のアクションは N フレームで構(gòu)成されます1 つのフレームごとに骨格點(diǎn)座標(biāo)から構(gòu)成される空間グラフを構(gòu)築できます。骨格點(diǎn)をフレーム間で接続して時(shí)間グラフを形成します。骨格點(diǎn)の接続と時(shí)間フレームの接続により時(shí)空間グラフを構(gòu)築できます。

時(shí)空間グラフ

時(shí)空間グラフ上で多層グラフの畳み込み演算を?qū)g行して、より高レベルの特徴マップを生成します。次に、それはアクション分類 (アクション分類) のための SoftMax 分類器に入力されます。

Graph Convolution

當(dāng)初は STGCN モデルをトレーニングする予定でしたが、落とし穴が多すぎたので、結(jié)局他の人を使って直接トレーニングすることにしました。モデル。

ピット 1. STGCN は OpenPose によって認(rèn)識(shí)されるスケルトン ポイントをサポートしており、直接使用できるデータセット Kinetics-skeleton があります。落とし穴は、OpenPose のインストールが面倒で手順が多く、苦労したあげく諦めてしまうということです。

ピット 2。STGCN は、立ち上がる、歩く、落ちるなどの 60 のアクション カテゴリを含む NTU RGB D データ セットもサポートしています。このデータセットの人體には 25 個(gè)の骨格點(diǎn)が含まれており、座標(biāo)データのみが含まれており、元のビデオは基本的に入手できないため、これらの 25 個(gè)の骨格點(diǎn)がどの位置に対応するのか、また、これら 25 個(gè)の骨格點(diǎn)を識(shí)別するためにどのモデルを使用できるのかを知る方法はありません。骨格ポイント. 苦労して、そして諦める。

上記の 2 つの大きな落とし穴により、STGCN モデルを直接トレーニングすることが不可能になりました。私は、アルファポーズを使用して 14 個(gè)のボーン ポイントを識(shí)別し、カスタム ボーン ポイントをサポートするように STGCN ソース コードを修正するオープン ソース ソリューションを見つけました。

https://github.com/GajuuzZ/Human-Falling-Detect-Tracks

我看了下mediapipe包含了這 14 個(gè)骨骼點(diǎn)，所以可以用mediapipe識(shí)別的骨骼點(diǎn)輸入他的模型，實(shí)現(xiàn)動(dòng)作分類。

mediapipe 32個(gè)骨骼點(diǎn)

選出14個(gè)關(guān)鍵骨骼點(diǎn)

14個(gè)骨骼點(diǎn)提取代碼：

KEY_JOINTS = [
mp_pose.PoseLandmark.NOSE,
mp_pose.PoseLandmark.LEFT_SHOULDER,
mp_pose.PoseLandmark.RIGHT_SHOULDER,
mp_pose.PoseLandmark.LEFT_ELBOW,
mp_pose.PoseLandmark.RIGHT_ELBOW,
mp_pose.PoseLandmark.LEFT_WRIST,
mp_pose.PoseLandmark.RIGHT_WRIST,
mp_pose.PoseLandmark.LEFT_HIP,
mp_pose.PoseLandmark.RIGHT_HIP,
mp_pose.PoseLandmark.LEFT_KNEE,
mp_pose.PoseLandmark.RIGHT_KNEE,
mp_pose.PoseLandmark.LEFT_ANKLE,
mp_pose.PoseLandmark.RIGHT_ANKLE
]

landmarks = results.pose_landmarks.landmark
joints = np.array([[landmarks[joint].x * image_w,
landmarks[joint].y * image_h,
landmarks[joint].visibility]
 for joint in KEY_JOINTS])

STGCN?原始方案構(gòu)造的空間圖只支持openpose?18個(gè)骨骼點(diǎn)和NTU RGB+D數(shù)據(jù)集25個(gè)骨骼點(diǎn)

修改這部分源碼，以支持自定義的14個(gè)骨骼點(diǎn)

模型直接使用Human-Falling-Detect-Tracks項(xiàng)目已經(jīng)訓(xùn)練好的，實(shí)際運(yùn)行發(fā)現(xiàn)識(shí)別效果很差，因?yàn)闆](méi)有看到模型訓(xùn)練過(guò)程，不確定問(wèn)題出在哪。

有能力的朋友可以自己訓(xùn)練模型試試，另外，百度的Paddle?也基于STGCN?開發(fā)了一個(gè)跌倒檢測(cè)模型，只支持摔倒這一種行為的識(shí)別。

當(dāng)然大家也可以試試Transformer的方式，不需要提取骨骼點(diǎn)特征，直接將 N 幀転倒検知、骨格點(diǎn)人間動(dòng)作認(rèn)識(shí)に基づき、コードの一部はChatgptで完成送入模型分類。

關(guān)于STGCN的原理，大家可以參考文章：https://www.jianshu.com/p/be85114006e3 ?總結(jié)的非常好。

需要源碼的朋友留言區(qū)回復(fù)即可。

如果大家覺(jué)得本文對(duì)你有用就點(diǎn)個(gè) 在看 鼓勵(lì)一下吧，后續(xù)我會(huì)持續(xù)分享優(yōu)秀的 Python+AI 項(xiàng)目。

以上が転倒検知、骨格點(diǎn)人間動(dòng)作認(rèn)識(shí)に基づき、コードの一部はChatgptで完成の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。