مشروع تجريبي يستخدم نموذج تتبع اليد من Google (MediaPipe) لرصد 21 نقطة مفصلية على يدك عبر الكاميرا، والتعرف على إيماءات الأصابع في الزمن الحقيقي — كل هذا يعمل محليًا داخل المتصفح دون رفع أي فيديو لأي خادم.
من إشارة الكاميرا الخام إلى تصنيف إيماءة — أربع خطوات تحدث 30+ مرة في الثانية.
الوصول لكاميرا الجهاز عبر getUserMedia، وتمرير كل إطار (frame) مباشرة إلى نموذج التتبع دون تخزين أو رفع.
نموذج MediaPipe Hand Landmarker (من Google، يعمل عبر WebAssembly) يحدد إحداثيات كل مفصل في اليد بدقة عالية وبزمن استجابة منخفض جدًا.
حساب المسافات والزوايا بين أطراف الأصابع ومفاصلها لتحديد أي إصبع ممدود أو مطوي، ومقارنة ذلك بأنماط إيماءات معروفة.
رسم الهيكل العظمي لليد بألوان مختلفة لكل إصبع على طبقة Canvas منفصلة، مع تحديث لوحة القياسات (FPS، عدد الأيادي، الإيماءة الحالية) في كل إطار.
كل إيماءة يتم التعرف عليها عبر قواعد هندسية بسيطة مبنية على مواقع المفاصل النسبية.
التقاء طرف الإبهام والسبابة في نقطة واحدة — يُستخدم عادة للتحكم بالسحب أو التكبير.
السبابة ممدودة وحدها بينما بقية الأصابع مطوية — إشارة اتجاه أو تحديد.
السبابة والوسطى ممدودتان معًا في شكل حرف V.
الإبهام ممدود لأعلى وبقية الأصابع مطوية بالكامل.
جميع الأصابع مطوية بالكامل نحو راحة اليد.
جميع الأصابع ممدودة ومتباعدة — الحالة الافتراضية.