Dr. Erdefi Rakun dan beberapa peneliti dari Lab Machine Learning and Computer Vision Fakultas Ilmu Komputer Universitas Indoensia (Fasilkom UI) mengembangkan aplikasi mobile untuk mengenali dan menerjemahkan Sistem Isyarat Bahasa Indonesia (SIBI) ke teks bahasa Indonesia. Saat ini aplikasi yang dikembangkan dapat dijalankan pada platform Android. Pengembangan aplikasi ini dibantu oleh guru-guru dan murid-murid dari SLB Santi Rama yang menguasai SIBI.
Ada dua aplikasi berkaitan dengan SIBI yang sedang dikembangkan, yaitu aplikasi untuk menerjemahkan text-to-gesture dan aplikasi untuk menerjemahkan gestures-to-text. Untuk bahasan kali ini, peneliti fokus pada pembahasan aplikasi penerjemahan gestures-to-text, karena aplikasi ini lebih rumit dibandingkan dengan aplikasi penerjemah text-to-gesture.
Untuk dapat menerjemahkan gerakan isyarat SIBI ke teks bahasa Indonesia, aplikasi perlu kemampuan untuk mengenali setiap gerakan isyarat SIBI. Gerakan isyarat SIBI dapat dibagi menjadi isyarat kata yang terdiri dari isyarat pokok, kata imbuhan, kata bentukan dan kata tugas. Selain isyarat kata, SIBI juga memiliki isyarat jari yang terdiri dari alfabet dan bilangan. Salah satu keunikan dari SIBI adalah adanya isyarat kata berimbuhan yang dibentuk dengan menggabungkan gerakan isyarat imbuhan (awalan, akhiran, partikel) dengan gerakan isyarat kata dasar. Sistem penerjemah ini juga harus mampu mengenali komponen-komponen yang membangun suatu isyarat kata berimbuhan. Tanpa kemampuan untuk mengenali komponen kata berimbuhan, maka sistem perlu untuk menyimpan semua kemungkinan kata berimbuhan yang ada di Bahasa Indonesia dalam database yang besar dan sistem akan memerlukan komputasi yang tinggi. Kemampuan pengenalan komponen kata berimbuhan juga menyebabkan sistem mudah beradaptasi terhadap penambahan kata-kata baru di Bahasa Indonesia.
“Kami memutuskan untuk menangani masalah tersulit terlebih dahulu. SIBI meniru struktur tata Bahasa Indonesia, dan gerakan isyarat dalam SIBI mengikuti tata cara penyusunan kata-kata bahasa Indonesia, dengan adanya infiks, prefiks, dan sufiks. Masalah pengenalan kata berimbuhan sebagai suatu unit (bukan sebagai komponen-komponennya) akan memerlukan komputasional yang tinggi, dan membutuhkan basis data yang besar. Hal ini disebabkan karena ada banyak sekali kemungkinan kombinasi imbuhan dan kata dasar, dan adanya kata-kata baru yang terus ditambahkan ke Bahasa Indonesia.” Dr. Erdefi Rakun menjelaskan.
Untuk membangun sistem penerjemah ini, peneliti dan tim menggunakan MobileNet untuk mengekstarasi fitur video, model Threshold Conditional Random Fields (T-CRF) untuk mengidentifikasi frame video mana yang mengandung gesture dan frame video mana yang berisi non-gesture (gerakan transisi), dan model LSTM Bidirectional 2-layer untuk melakukan klasifikasi. Sistem penerjemah yang dibangun mampu mengenali isyarat SIBI dengan akurasi sekitar 98%.