نمونه اولیه از طریق یک وب کم لپ تاپ با یک آینه متصل به آن کار می کند. به گفته توسعه‌دهندگان، این برنامه دست‌های کاربر را در کنار یا نزدیک صفحه‌کلید تشخیص می‌دهد و بر اساس موقعیت‌های مختلف دست، عملیات انجام می‌دهد.
در هنگام استفاده، شخص می تواند دست راست خود را با انگشت شست رو به بالا در کنار صفحه کلید قرار دهد و برنامه این را به عنوان سیگنالی برای افزایش صدا تشخیص دهد. حرکات مختلف و ترکیبات مختلف حرکات را می توان برای انجام طیف وسیعی از عملیات برنامه ریزی کرد.
نالین چیبر، فارغ التحصیل اخیر کارشناسی ارشد از دانشکده علوم کامپیوتر چریتون دانشگاه واترلو، می گوید: «این کار با یک ایده ساده در مورد روش های جدید استفاده از وب کم شروع شد. وب‌کم به سمت صورت شما نشانه می‌رود، اما بیشترین تعاملی که روی رایانه اتفاق می‌افتد، اطراف دستان شماست. بنابراین فکر کردیم، اگر وب‌کم بتواند حرکات دست را بگیرد، چه کاری می‌توانیم انجام دهیم؟»
اطلاعات بیشتر از الکترونیک و ارتباطات
به گفته دانشگاه، این منجر به توسعه یک اتصال مکانیکی کوچک شد که وب کم را به سمت پایین به سمت دست ها هدایت می کند. سپس این تیم برنامه ای ایجاد کرد که قادر به درک حرکات دست در شرایط متغیر و برای کاربران مختلف بود. این تیم از تکنیک های یادگیری ماشین برای آموزش برنامه Typealike استفاده کرد.
فابریس ماتولیک، محقق ارشد شرکت Preferred Networks و محقق سابق فوق دکترا در واترلو، گفت: «این یک شبکه عصبی است، بنابراین باید نمونه‌های الگوریتمی را که می‌خواهید کشف کنید، نشان دهید.» برخی از افراد ژست‌ها را کمی متفاوت انجام می‌دهند، و اندازه دست‌ها متفاوت است، بنابراین باید داده‌های زیادی را از افراد مختلف با شرایط نوری متفاوت جمع‌آوری کنید.
این تیم پایگاه داده ای از حرکات دست را با داوطلبان پژوهشی ضبط کرد که آنها نیز آزمایش ها و نظرسنجی هایی را انجام دادند تا به تیم کمک کنند تا بدانند چگونه برنامه را تا حد امکان کاربردی و همه کاره کنند.
دانیل ووگل، دانشیار علوم کامپیوتر در واترلو، می‌گوید: «ما همیشه در تلاش هستیم تا چیزهایی را بسازیم که مردم به راحتی از آن استفاده کنند. «مردم به چیزی مانند Typealike یا سایر فناوری‌های جدید در زمینه تعامل انسان و رایانه نگاه می‌کنند و می‌گویند که منطقی است. این چیزی است که ما می خواهیم. ما می‌خواهیم فناوری بصری و ساده بسازیم، اما گاهی اوقات برای انجام این کار تحقیقات پیچیده و نرم‌افزار پیچیده زیادی نیاز است.»
محققان گفتند برنامه‌های Typealike در واقعیت مجازی کاربردهای بیشتری دارند که می‌تواند نیاز به کنترل‌کننده‌های دستی را از بین ببرد.
این مطالعه با عنوان Typealike: وضعیت‌های نزدیک به صفحه کلید دست برای تعامل گسترده لپ‌تاپ که توسط Chhibber، Matulic، Vogel و یکی از اعضای تیم Hemant Bhaskar Surale تألیف شده است، اخیراً در مجله مقالات ACM Human Computer Interaction منتشر شده است.
