شناسایی زبان اشاره با استفاده از دوربین های عمقی
چکیده
تشخیص زبان اشاره توسط رایانه در حوزه های مختلف هنوز یک چالش محسوب می شود. یکی از مهمترین مشکلات در این حوزه قطعه بندی دست، به خصوص در پس زمینه های پیچیده است. با ارائه دوربین های عمقی به خصوص سنسور کینکت، عمق پیکسل های تصویر نیز در دسترس می باشد که می تواند در قطعه بندی تصویر دست بسیار مفید باشد. در این تحقیق یک سیستم بلادرنگ تشخیص هجی انگشتی حروف الفبای زبان اشاره آمریکایی بر مبنای قطعه بندی عمقی دست از طریق سنسور کینکت ارائه شده است. تعداد 26 ویژگی هندسی از تصاویر قطعه بندی شده دست پس از چندین مرحله پیش پردازش استخراج و پس از تحلیل ویژگی ها توسط lda، توسط دسته بند بیِز دسته بندی شده اند. ویژگی های استخراج شده شامل 19 ویژگی بر حسب moment ها و 7 ویژگی بر حسب لبه بیرونی دست قطعه بندی شده می باشند. مراحل پیش پردازش نیز شامل آستانه گیری تصویر عمقی برای قطعه بندی دست جهت ایجاد ماسک، حذف نویز ماسک بدست آمده، جابجایی و تغییر اندازه آن می باشد. قطعه بندی تصویر رنگی و عمقی توسط اطلاعات عمقی سنسور کینکت و ارائه ویژگی ها و سیستم بلادرنگ مناسبی جهت دسته بندی بهینه داده های بدست آمده دستاورد اصلی این تحقیق می باشد. نتایج مختلفی با اعتبارسنجی ضربدری ارائه شده است که برتری این روش را نسبت به شش روش مشابه قبلی نشان می دهد. استفاده از یک پایگاه داده استاندارد با بیش از 54000 نمونه در پنج اجرا مختلف توسط چهار فرد، اعتبار نتایج بدست آمده را تضمین نموده است. نتایج مختلفی بر حسب انتخاب های مختلفی از پایگاه داده برای 24 حرف الفبا ارائه شده است که از 78.29% برای کل پایگاه داده شامل پنج اجرا کننده و 450 نمونه از حروف به ازای هر فرد تا 99.75% برای یک اجرا کننده با 100 نمونه برای هر حرف را شامل می شود. بررسی سرعت پردازش ورودی ها بر روی یک پردازنده core i7 لپ تاپ، بلادرنگ بودن سیستم با حداقل 38 فریم بر ثانیه در حالت تک نخه و 245 فریم بر ثانیه در حالت چند نخه را نشان می دهد. همچنین در تحلیل و اعتبار سنجی داده ها و نتایج نیز مشخص شده است که استفاده از lda و ویژگی های ترکیبی حاصل از اعمال ماسک عمقی بر روی تصاویر قطعه بندی شده عمقی و رنگی بهترین نتیجه را در سیستم ارائه نموده و در صورت تصادفی کردن داده ها و اعمال آموزش برای هرفرد جدید قبل از استفاده از سیستم، بهبود چشم گیری در نتایج بدست آمده حاصل می شود.