Deskripsi

Invensi ini berhubungan dengan metode untuk menerjemahkan gerakan isyarat atau kalimat Sistem Isyarat Bahasa Indonesia (SIBI) ke teks Bahasa Indonesia pada peranti seluler dengan sistem operasi Android dan iOS secara waktu-nyata, terdiri dari menangkap gerakan isyarat atau kalimat SIBI dengan kamera peranti seluler, mengubah video gerakan isyarat atau kalimat SIBI menjadi bingkai-bingkai gerakan isyarat berurutan oleh konverter peranti selelur, menghitung fitur Skeleton yang menyimpan informasi tentang pola pergerakan tangan oleh modul perangkat lunak Skeleton, menghitung fitur Citra yang menyimpan pola bentuk telapak tangan dan jari oleh modul perangkat lunak Citra, menyamakan banyaknya bingkai gerakan isyarat berurutan menjadi k bingkai oleh modul perangkat lunak Penyama Panjang Bingkai, menggabungkan fitur Skeleton dan fitur Citra menjadi fitur gabungan dari ke-k bingkai gerakan isyarat yang berurutan oleh modul perangkat lunak Penggabung Fitur, mencari bingkaibingkai yang berisi gerakan isyarat kata oleh modul perangkat lunak TCRF yang berisi model Threshold Conditional Random Fields (T-CRF) yang sudah terlatih, membuang bingkai yang berisi gerakan transisi sehingga tinggal tersisa bingkai gerakan isyarat kata oleh modul perangkat lunak Pembuang Transisi, menyamakan jumlah bingkai dari setiap gerakan isyarat kata oleh modul perangkat lunak Penyama Bingkai Rata-rata, mengenali setiap gerakan isyarat kata baik kata dasar maupun kata imbuhan oleh modul perangkat lunak LSTM yang berisi model 2-layer Bidirectional Long Short-Term Memory (LSTM) dalam memori peranti seluler, dan menampilkan hasil pengenalan model jaringan saraf tiruan terhadap semua gerakan isyarat kata pada tampilan peranti seluler.

Inventor

• DR. Ir. Erdefi Rakun, M.Sc
• Drs. Lim Yohanes Stefanus, M.Math, Ph.D
• Dadan Hardianto, S.Kom., M.Kom

Informasi Patent