Helo, semua.

Hari ini saya ingin berkongsi dengan anda projek pengesanan jatuh, lebih tepatnya, ia adalah pengecaman pergerakan manusia berdasarkan titik rangka.

Ia secara kasar dibahagikan kepada tiga langkah

• Mengenal tubuh manusia
• Mengenal rangka manusia Klik
• Kategori Tindakan

Kod sumber projek telah dibungkus, lihat penghujung artikel untuk cara mendapatkannya.

0. chatgpt

Pertama, kita perlu mendapatkan strim video yang dipantau. Kod ini agak tetap, kita boleh terus biarkan chatgpt selesai

Kod yang ditulis oleh chatgpt ini tiada masalah dan boleh digunakan terus.

Tetapi apabila ia melibatkan tugas perniagaan, seperti menggunakan mediapipe untuk mengenal pasti titik rangka manusia, kod yang diberikan oleh chatgpt adalah tidak betul.

Saya rasa chatgpt? boleh digunakan sebagai kotak alat, yang boleh bebas daripada logik perniagaan Anda boleh cuba meninggalkannya untuk chatgpt untuk diselesaikan.

Jadi, saya rasa keperluan untuk pengaturcara pada masa hadapan akan lebih memfokuskan pada keupayaan abstrak perniagaan. Tanpa berlengah lagi, mari kita kembali kepada topik.

1. Pengecaman tubuh manusia

Pengecaman tubuh manusia boleh menggunakan model pengesanan sasaran, seperti: YOLOv5? Kami juga telah berkongsi banyak artikel tentang latihan model YOLOv5.

Tetapi di sini saya tidak menggunakan YOLOv5, tetapi mediapipe?. Kerana mediapipe berjalan lebih pantas dan berjalan lancar pada CPU.

2. Pengecaman titik tulang

Terdapat banyak model untuk mengenal pasti titik tulang, seperti alphapos dan openpose Bilangan dan kedudukan titik tulang yang dikenali oleh setiap model adalah berbeza. Contohnya, dua jenis berikut:

mediapipe 32 titik tulang

coco 17 titik tulang

Saya masih menggunakan mediapipe untuk pengecaman titik tulang Selain kelajuannya yang pantas, kelebihan lain ialah mediapipe boleh mengenali banyak titik tulang, 32 daripadanya, yang dapat memenuhi keperluan kita. Kerana klasifikasi tindakan tubuh manusia yang akan digunakan di bawah sangat bergantung pada titik rangka.

image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
results = pose.process(image)

if not results.pose_landmarks:
continue

# 識(shí)別人體骨骼點(diǎn)
image.flags.writeable = True
image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)

mp_drawing.draw_landmarks(
image,
results.pose_landmarks,
mp_pose.POSE_CONNECTIONS,
landmark_drawing_spec=mp_drawing_styles.get_default_pose_landmarks_style()
)

3. Pengecaman tindakan

Pengiktirafan tindakan menggunakan rangkaian konvolusi graf spatio-temporal berdasarkan pengecaman tindakan rangka Penyelesaian sumber terbuka ialah STGCN (Skeleton-. Rangkaian Konvolusi Graf Berasaskan)

https://github.com/yysijie/st-gcn

Satu set tindakan, seperti: jatuh, terdiri daripada N bingkai, setiap bingkai boleh membina graf ruang yang terdiri daripada koordinat titik rangka. Titik rangka disambungkan antara bingkai untuk membentuk graf masa.

Graf spatial-temporal

Lakukan operasi konvolusi graf berbilang lapisan pada graf spatio-temporal untuk menjana peta ciri peringkat lebih tinggi. Kemudian ia adalah input kepada pengelas SoftMax untuk pengelasan tindakan (Pengkelasan Tindakan).

Graf convolution

Pada asalnya saya bercadang untuk melatih model STGCN, tetapi saya menghadapi terlalu banyak perangkap, jadi akhirnya saya hanya menggunakan orang lain untuk melatih model itu.

Pit 1. STGCN? menyokong titik rangka yang diiktiraf oleh OpenPose?, dan terdapat dataset Kinetics-skeleton? yang boleh digunakan secara langsung. Masalahnya ialah pemasangan OpenPose terlalu rumit dan memerlukan banyak langkah Selepas bergelut, anda berputus asa.

Pit 2. STGCN? juga menyokong set data NTU RGB+D, yang mempunyai 60 kategori tindakan, seperti: berdiri, berjalan, jatuh, dsb. Tubuh manusia dalam set data ini mengandungi 25 titik rangka, hanya menyelaraskan data, dan video asal pada dasarnya tidak tersedia, jadi tidak ada cara untuk mengetahui kedudukan mana yang sepadan dengan 25 titik rangka ini dan model apa yang boleh digunakan untuk mengenal pasti 25 titik ini. mata rangka.

Dua perangkap besar di atas menjadikannya mustahil untuk melatih model STGCN secara langsung, saya menemui penyelesaian sumber terbuka, yang menggunakan alfapos untuk mengenal pasti 14 titik tulang, dan pada masa yang sama mengubah suai kod sumber STGCN untuk menyokong tersuai. titik tulang.

https://github.com/GajuuzZ/Human-Falling-Detect-Tracks

我看了下mediapipe包含了這 14 個(gè)骨骼點(diǎn)，所以可以用mediapipe識(shí)別的骨骼點(diǎn)輸入他的模型，實(shí)現(xiàn)動(dòng)作分類。

mediapipe 32個(gè)骨骼點(diǎn)

選出14個(gè)關(guān)鍵骨骼點(diǎn)

14個(gè)骨骼點(diǎn)提取代碼：

KEY_JOINTS = [
mp_pose.PoseLandmark.NOSE,
mp_pose.PoseLandmark.LEFT_SHOULDER,
mp_pose.PoseLandmark.RIGHT_SHOULDER,
mp_pose.PoseLandmark.LEFT_ELBOW,
mp_pose.PoseLandmark.RIGHT_ELBOW,
mp_pose.PoseLandmark.LEFT_WRIST,
mp_pose.PoseLandmark.RIGHT_WRIST,
mp_pose.PoseLandmark.LEFT_HIP,
mp_pose.PoseLandmark.RIGHT_HIP,
mp_pose.PoseLandmark.LEFT_KNEE,
mp_pose.PoseLandmark.RIGHT_KNEE,
mp_pose.PoseLandmark.LEFT_ANKLE,
mp_pose.PoseLandmark.RIGHT_ANKLE
]

landmarks = results.pose_landmarks.landmark
joints = np.array([[landmarks[joint].x * image_w,
landmarks[joint].y * image_h,
landmarks[joint].visibility]
 for joint in KEY_JOINTS])

STGCN?原始方案構(gòu)造的空間圖只支持openpose?18個(gè)骨骼點(diǎn)和NTU RGB+D數(shù)據(jù)集25個(gè)骨骼點(diǎn)

修改這部分源碼，以支持自定義的14個(gè)骨骼點(diǎn)

模型直接使用Human-Falling-Detect-Tracks項(xiàng)目已經(jīng)訓(xùn)練好的，實(shí)際運(yùn)行發(fā)現(xiàn)識(shí)別效果很差，因?yàn)闆](méi)有看到模型訓(xùn)練過(guò)程，不確定問(wèn)題出在哪。

有能力的朋友可以自己訓(xùn)練模型試試，另外，百度的Paddle?也基于STGCN?開(kāi)發(fā)了一個(gè)跌倒檢測(cè)模型，只支持摔倒這一種行為的識(shí)別。

當(dāng)然大家也可以試試Transformer的方式，不需要提取骨骼點(diǎn)特征，直接將 N 幀Pengesanan jatuh, berdasarkan pengecaman tindakan manusia titik rangka, sebahagian daripada kod dilengkapkan dengan Chatgpt送入模型分類。

關(guān)于STGCN的原理，大家可以參考文章：https://www.jianshu.com/p/be85114006e3 ?總結(jié)的非常好。

需要源碼的朋友留言區(qū)回復(fù)即可。

如果大家覺(jué)得本文對(duì)你有用就點(diǎn)個(gè) 在看 鼓勵(lì)一下吧，后續(xù)我會(huì)持續(xù)分享優(yōu)秀的 Python+AI 項(xiàng)目。

Atas ialah kandungan terperinci Pengesanan jatuh, berdasarkan pengecaman tindakan manusia titik rangka, sebahagian daripada kod dilengkapkan dengan Chatgpt. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!