Augmented reality-based model-mediated teleoperation: A mobile telerobot case study

Abstract

Teleoperation is defined as operating a robot in a remote environment. Teleoperation utilizes the strength and dexterity of robots and the interpretation and problem solving skills of humans. In a teleoperation system, the robot to be controlled is referred as the slave. The master is a device that the human operator interacts with to send commands to the slave or receive feedback from the slave environment such as haptic or audio. However, teleoperation of a robot in an unknown environment solely based on haptic and visual feedback is a demanding task. The effects of time delay in communication channels makes completing this task even more challenging. Model-Mediated Teleoperation (MMT) aims to solve this problem by creating a virtual model of the slave robot and the environment. This virtual model receives commands from the master and returns haptic feedback just as the real slave robot is interacting with the environment, effectively with no delay. However, without actually knowing where the position of the virtual robot corresponds in the real environment, it is still challenging to carry out the task. In this project, a novel augmented reality based method is proposed to render the virtual robot into the real life live video feed. Integration of the non-delayed robot into the real environment intends to solve this problem by enhancing the perception of the user.

Teleoperasyon, uzak ortamdaki bir robotu kontol etmek olarak tanımlanır. Teleoperasyonda, robotların gücününden ve manevra kabiliyetlerinden, insanların ise bir durumu algılama ve çözüm üretme yeteneklerinden faydalanılır. Bir teleoperasyon sisteminde, kontrol edilen robot, bağımlı robot olarak adlandırılır. İnsan kullanıcının etkileşimde bulunarak bağımlı sisteme sinyaller gönderdiği ve bağımlı robotun bulunduğu ortamın bilgisini haptik veya duysal geribildirim olarak aldığı bileşene ise ana/ana sistem denir. Bilinmeyen bir ortamda bulunan robotun, yalnızca haptik veya görsel geribildirim ile kontrol edilmesi zor bir iştir. Ana ile bağımlı sistemler arasındaki haberleşme kanallarından kaynaklanan gecikme ve paket kaybı gibi sorunlar bu işlemi daha da zorlaştırır. Model aracılı teleoperasyon yöntemi, uzak ortamın sanal bir modelini oluşturarak bu sorunun üstesinden gelmeyi amaçlar. Bu sanal model, kullanıcıdan komutlar alarak, hiç gecikme yokmuş gibi gerçek ortamın vereceği tepkiyi taklit eder. Ancak, sanal robotun gerçek ortamda nereye denk geldiğini bilmeden işlemi gerçekleştirmek hala zordur. Bu projede artırılmış gerçeklik bazlı özgün bir teleoperasyon methodu sunulmuştur. Sanal robot, gerçek ortamdan gelen görüntünün üzerine işlenerek kullanıcının algısını, dolayısıyla teleoperasyonun performansını artırmak hedeflenmiştir.