شناسایی زبان اشاره فارسی با استفاده از دوربین های عمقی
چکیده
شناسایی زبان اشاره توسط رایانه گام اولیه و مهمی در راستای ارتقای تعامل کاربران ناشنوا با رایانه است. با وجود گستردگی کارهای انجام شده در شناسایی زبان اشاره سایر کشور ها به خصوص زبان اشاره امریکایی، تنها هنوز گام های اولیه و آزمایشگاهی در مورد زبان اشاره فارسی انجام پذیرفته است. در این پایان نامه روشی جهت شناسایی حروف الفبای زبان اشاره فارسی باغچه بان (اولین و پرکاربردترین زبان اشاره فارسی) ارائه شده است که با استفاده از دوربین های عمقی و ویژگی های های هندسی دست، اسکلت و صورت، در محیطی با پس زمینه پیچیده درصد شناسایی بالایی را ارائه می دهد. تحقیق پیش¬رو اولین تحقیق کاربردی برای شناسایی زبان اشاره فارسی در محیطی با پس زمینه پیچیده است. هم چنین استخراج ویژگی از اسکلت و دهان فرد نیز تا کنون در شناسایی زبان اشاره فارسی انجام نگرفته است. کارهای اصلی انجام شده در این تحقیق عبارت اند از تولید اولین پایگاه داده عمقی زبان اشاره فارسی باغچه بان شامل تصاویر کامل بدن و به خصوص صورت و دهان، شناسایی کامل 38 حرف الفبای معمول ناشنوایان با سرعت بلادرنگ، استفاده از ویژگی های اسکلتی و نقاط صورت در تشخیص زبان اشاره فارسی و تحلیل و بررسی نتایج سیستم تا رسیدن به درصد تشخیص بیش از 99%. پایگاه داده استفاده شده در این سیستم دارای 150 تا 500 نمونه متفاوت از 38 حرف الفبای زبان اشاره فارسی باغچه بان با فضایی دارای تداخل رنگی بین دست، صورت، بدن، لباس و پس زمینه تصویر می باشد که توسط سنسور کینکت ضبط شده است و به ازای هر فریم آن، تصویر رنگی، تصویر عمقی، اسکلت نیم تنه بالای بدن و 121 نقطه صورت فرد استخراج شده است. تحلیل نتایج سیستم نشان دهنده بهترین درصد شناسایی 99.4% برای 3800 نمونه (100 نمونه از هر حرف) و 99.2% به ازای 5700 نمونه (150 نمونه از هر حرف) است. تاثیر استفاده از ویژگی های هندسی دست و دهان، ویژگی های بر پایه تبدیل موجک استخراج شده از تصویر قطعه بندی شده دهان و ویژگی های اسکلتی مربوط به مکان قرارگیری دست، در این تحقیق مورد ارزیابی قرار گرفته اند. بررسی عملکرد سیستم نیز نشان دهنده سرعت بین 40 تا 70 فریم بر ثانیه در شناسایی داده های پایگاه داده و با استفاده از دسته بند بیز می باشد.