تتبع الكائنات المتعددة: الدليل النهائي

يعد تتبع الكائنات المتعددة (MOT) في الفيديو عملية صعبة مع العديد من التطبيقات في كل من القطاعين العام والخاص. يمكن لكاميرات المراقبة في الأماكن العامة تتبع المجرمين المحتملين، بينما يمكن لمتاجر البيع بالتجزئة استخدام تتبع الكائنات لمراقبة سلوك العملاء.

تم تطوير تقنية MOT في عام 1988 على يد زينون بيليشين، وهي تقنية مصممة لأول مرة لدراسة قدرة النظام البصري البشري على تتبع العديد من الأجسام المتحركة. ومع ذلك، منذ ذلك الحين، تم تقديم طرق مختلفة لتتبع الكائنات من خلال رؤية الكمبيوتر.

في هذه المقالة، سوف نستكشف تتبع الكائنات المتعددة ونقدم دليلاً تفصيليًا حول تتبع الكائنات ومتطلبات تتبع كائنات متعددة.

الجزء 1: ما هو تتبع الكائنات

تتبع الكائنات هو تطبيق لرؤية الكمبيوتر يتضمن تتبع حركة الكائنات في الوقت الفعلي. إنها أداة مفيدة للعديد من الأغراض المختلفة، مثل المراقبة بالفيديو، والتفاعل بين الإنسان والحاسوب، وسلامة السيارات.

خوارزمية تتبع الكائنات هي برنامج قائم على التعلم العميق يعمل من خلال تطوير نموذج لكل كائن على حدة وإنشاء مجموعة من المسارات لتمثيل حركته. ويتم ذلك من خلال إشارة، مثل المربع الذي يتبع الكائن ويخبر المستخدمين بموقعه على الشاشة في الوقت الفعلي.

تم تصميم خوارزمياته للعمل مع أنواع مختلفة من المدخلات، بما في ذلك كل شيء بدءًا من الصور ومقاطع الفيديو وحتى اللقطات في الوقت الفعلي. سيؤثر الإدخال الذي تتوقع استخدامه على الفئة وحالات الاستخدام وتطبيقات تتبع الكائنات.

الجزء 2. أنواع تتبع الكائنات

هناك نوعان أو مستويات رئيسية لتتبع الكائنات: SOT وMOT

SOT

تتبع كائن واحد أو تتبع كائن مرئي هو عملية يتم فيها تعيين المربع المحيط للكائن الهدف إلى المتعقب في الإطار الأول. يكتشف المتعقب بعد ذلك نفس الكائن في جميع الإطارات الأخرى.

يقوم SOT باكتشاف وتتبع كائن واحد فقط ويندرج ضمن فئة التتبع الخالي من الكشف، مما يعني أنه تتم تهيئته يدويًا بعدد ثابت من الكائنات، على الرغم من وجود كائنات أخرى في الإطارات.

دعونا نفهم ذلك بمثال: يقوم قسم الشرطة بحل قضية قتل تتعلق بسيارة على الطريق السريع. لقد حصلوا على لقطات من كاميرا المراقبة وأرادوا تتبع السيارة لحل اللغز. ومع ذلك، قد يستغرق الأمر بعض الوقت للقيام بذلك يدويًا. لذلك، سيستخدمون عملية تتبع كائن واحد وسيقومون بتعيين مربع محيط للسيارة المستهدفة للتحقق مما يحدث لها.

MOT

يتضمن تتبع الكائنات المتعددة تتبع كائنات متعددة في الإطار. منذ تطويره في عام 1988 بواسطة زينون بيليشين، تم إجراء العديد من التجارب لمعرفة كيف يمكن لأنظمة الرؤية البشرية والحاسوبية اكتشاف وتتبع أشياء متعددة في الإطار.

كمخرجات، يقوم التتبع المتعدد بإنشاء عدة مربعات محيطة ويتم تحديدها باستخدام معلمات معينة مثل الإحداثيات والعرض والارتفاع وما إلى ذلك. لم يتم تدريب برنامج MOT مسبقًا فيما يتعلق بمظهر أو كمية الكائنات التي سيتم تعقبها.

علاوة على ذلك، تقوم الخوارزمية بتعيين معرف اكتشاف لكل مربع مما يساعد النموذج في تحديد الكائنات داخل الفصل. على سبيل المثال، إذا كانت هناك سيارات متعددة في الإطار، فستقوم خوارزمية MOT بتعريف كل سيارة ككائن منفصل وتخصيص معرف فريد لها.

الجزء 3: ما هي احتياجات تتبع الكائنات المتعددة؟

أعلاه هو شرح MOT. وفي هذا الجزء سنركز على آليته. فيما يلي بعض أهم متطلبات تتبع الكائنات المتعددة:

1. الكشف

يعتمد أفضل أسلوب لاكتشاف الأشياء التي تهمك على ما تحاول تتبعه وما إذا كانت الكاميرا ثابتة أو متحركة.

MOT باستخدام الكاميرا الثابتة

يمكن استخدام كائن نظام Vision.ForegroundDetector للكشف عن الكائنات المتحركة على خلفية ثابتة عن طريق إجراء عملية الطرح في الخلفية. هذا الأسلوب فعال ولكنه يتطلب أن تكون الكاميرا ثابتة.

MOT باستخدام الكاميرا المتحركة

غالبًا ما يتم استخدام أسلوب اكتشاف النافذة المنزلقة مع كاميرا متحركة لاكتشاف الأشياء المتحركة. ومع ذلك، فإن هذا النهج أبطأ من أسلوب الطرح الخلفية.

استخدم الأساليب التالية لتتبع فئات الكائنات المحددة.

2. التنبؤ

الشرط الثاني لتتبع الكائنات المتعددة هو "التنبؤ". في هذا، عليك التنبؤ بموضع كائن التتبع في الإطار التالي. للقيام بذلك، يمكنك تصميم النموذج لاستخدام مرشح كالمان (vision.KalmanFilter).

سيساعد هذا في التنبؤ بالموقع التالي للكائن في الإطارات. ولهذا، فإنه سيأخذ في الاعتبار السرعة الثابتة للجسم، وضوضاء قياس التسارع الثابت، وضوضاء العملية. ضوضاء القياس هي اكتشاف خطأ، في حين أن ضوضاء العملية هي الاختلاف في الحركة الفعلية للكائن عن حركة نموذج الحركة.

3. جمع البيانات

يعد ربط البيانات خطوة حاسمة في تتبع الكائنات المتعددة ويتضمن ربط نقاط البيانات معًا التي تمثل نفس الشيء عبر إطارات مختلفة.

المسار هو التاريخ الزمني لكائن ما يتكون من اكتشافات متعددة ويمكن أن يشمل التاريخ الكامل للمواقع السابقة للكائن أو ببساطة آخر موقع معروف للكائن وسرعته الحالية.

الجزء 4: نهج تتبع الكائنات

بعد فهم ما تحتاجه MOT، دعونا نتعرف على نظرية كيفية عمل تتبع الكائنات.

فيما يلي الأساليب الأكثر شيوعًا لتتبع الكائنات:

1. تتبع الكائنات المستندة إلى OpenCV

هناك العديد من الطرق للتعامل مع تتبع الكائنات، ولكن إحدى الطرق الأكثر شيوعًا هي من خلال استخدام الخوارزميات المضمنة في مكتبة OpenCV.

تحتوي المكتبة على واجهة برمجة تطبيقات للتتبع تحتوي على خوارزميات تتبع الكائنات وثمانية أجهزة تتبع: BOOSTING وMEDIANFLOW وMIL وKCF وCSRT وTLD وGOTURN وMOSSE. كل متتبع له مميزاته وعيوبه وله أهداف مختلفة. على سبيل المثال، يعد جهاز التعقب MOSSE هو الأفضل لتتبع الكائنات بشكل أسرع.

للحصول على مراجعة أعمق لOpenCV Object Tracking وما هو OpenCV، يرجى قراءة مقالتنا حول: OpenCV Tracking: A complete Guide in 2022.（同期交付，可以插这个文章主题的内链）

2. MDNet

تعد MDNet طفرة في مجال التتبع لأنها أول شبكة تستخدم النماذج القائمة على التصنيف بدلاً من النهج التقليدي. وهذا يجعل MDNet أسرع بكثير وأكثر دقة من طرق التتبع الأخرى.

مستوحاة من شبكة الكشف عن الكائنات R-CNN، يمكن لخوارزمية MDNet اكتشاف الكائنات في الوقت الفعلي بشكل أكثر كفاءة وبسرعة عالية، مما يجعلها أداة تعقب بصرية حديثة.

3. DeepSort

DeepSort هو خيار خوارزمية تتبع الكائنات الأكثر شيوعًا. يؤدي تكامل معلومات المظهر أو مقاييس مسافة المظهر العميق إلى تحسين أداء DeepSORT بشكل كبير.

إن إضافة مقياس مسافة "المظهر العميق" يمكّن DeepSort من تجنب تحديد المفاتيح بنسبة 45% والتعامل مع السيناريوهات المعقدة. في مجموعة بيانات MOT17، تلقت DeepSORT 77.2 IDF1 و75.4 MOTA مع 239 مفتاح معرف ولكن معدل إطار في الثانية أقل يبلغ 13.

4. ROLO

ROLO - مزيج من YOLO وLSTM عبارة عن شبكة عصبية تلافيفية مكانية وزمانية تستخدم وحدة YOLO وشبكة LTSM لجمع الميزات المرئية واستدلال الموقع وتحديد مسار الكائن المستهدف.

تستخدم شبكة LSTM ناقل ميزة الإدخال بطول 4096 لكل إطار للتنبؤ بموقع الكائن المستهدف. يتم الحصول على هذا المتجه من خلال الجمع بين الميزات المرئية عالية المستوى واكتشاف YOLO. من خلال العمل معًا، يمكن لـ LSTM وYOLO التنبؤ بموقع الكائن المستهدف بشكل أكثر دقة.

نص بديل: rolo لتتبع الكائنات

خاتمة

دليل النهائي، ناقشنا تتبع الكائنات المتعددة ومتطلباته. لقد استكشفنا أيضًا طرقًا مختلفة لتتبع الكائنات لمساعدتك في تحديد الطريقة الأفضل لاحتياجاتك.

نأمل أن تجد هذا الدليل مفيدًا، وأن تكون قد تم حل استفساراتك المتعلقة بتتبع الكائنات وأنواعها.