İŞİTME ENGELLİ BİREYLERİN EĞİTİM VE İLETİŞİMİNDE KULLANILAN YAPAY ZEKA TEKNOLOJİLERİ

İŞİTME ENGELLİ BİREYLERİN EĞİTİM VE İLETİŞİMİNDE KULLANILAN YAPAY ZEKA TEKNOLOJİLERİ

Teknoloji o kadar hızlı bir gelişme gösteriyor ki neredeyse her yıl yüzlerce farklı kullanım alanı hayatımıza entegre oluyor. Sağlık da bu alanlardan biri ve hatta belki de en önemlisidir. Teknoloji sayesinde günümüzde birçok sağlık problemi teknoloji aracılığıyla daha kolay tanımlanabilir ve çözümlenebilir hale gelmiştir. İşitme engelli bireyler için getirilen yenilikler de teknolojinin sağlık alanındaki faydalarından biridir. Bu yazımda sizlere işitme engelli bireylerin eğitim ve iletişimlerini daha kolay hale getirmeyi hedefleyen teknolojilerden bahsedeceğim.

Yapay Zeka (Artificial Intelligence, AI) nedir?

Yapay zeka, insanlar tarafından geliştirilen belli özelliklerin öğretildiği ve daha sonra bu öğretilerin geliştirilerek insanlara sunulduğu bir teknoloji modelidir [1]. Günümüzde sıkça adını duyduğumuz yapay zeka terimi son zamanlarda üzerinde durulan çalışma alanlarından biri olmuştur. Bu nedenle yapay zeka teknolojisi günümüzün en önemli araçlarından biri haline gelmiş ve özellikle uzaktan çalışmanın yaygınlaştığı bugünlerde bu teknolojiye yapılan yatırımlar giderek artmıştır. Hayatımızın hemen her alanında yapay zekadan faydalanmaya başladığımız bu günlerde yapay zeka işitme engellilerin eğitim ve iletişiminde kolaylık sağlamayı hedefleyen bir çok teknolojiyi de beraberinde getirmiştir.

Sanal Gerçeklik (Virtual Reality, VR) nedir?

VR, gerçekçi bir ortamı simüle eden gelişmiş bir insan-bilgisayar arayüzüdür. Katılımcılar sanal dünyada dolaşabilirler. Onu farklı açılardan görebilir, ona ulaşabilir, yakalayabilir ve yeniden şekillendirebilirler [2].

Makine Öğrenimi (Machine Learning, ML) Nedir?

ML bir bilgisayarın doğrudan talimat almadan öğrenmesini sağlamak için matematiksel bir model kullanma sürecidir. AI bir alt kümesi olarak kabul edilir. Makine öğrenimi, verilerdeki kalıpları tanımak için algoritmalar kullanır. Bu modeller ayrıca tahmine dayalı veri modelleri oluşturmak için kullanılır [3].

Tıpkı insanların daha fazla alıştırma yaptıkça gelişmesi gibi veri ve deneyim miktarı arttıkça makine öğrenmesinin sonuçları da daha doğru hale gelir.

Eğitimde Yapay Zeka

Günümüzde yapay zeka sağlık, alışveriş, eğitim gibi birçok alana entegre olduğu gibi eğitim alanında da öğrenme, uyarlama, sentezleme, kendi kendini düzeltme ve karmaşık işlem görevleri için veri kullanımı gibi insanlar tarafından yürütülen süreçlere dâhil olabilen bir bilgi işlem sistemidir. Yapay zeka herkese aynı içeriği sunmak yerine eğitime tabi her bireye ayrı amaçları, tercihleri ve bilgileri doğrultusunda bir model oluşturmaktadır.

İşitme Engellilerin Eğitimi

Dünya Sağlık Örgütü’nün raporlarına göre 2018 yılında Avrupa’da 34 milyon işitme engelli birey bulunmakta ve bu sayının 2050 yılına kadar 46 milyon olması beklenmektedir [4]. İşitme engelli bireylerin özel eğitim ihtiyacının belirlenmesinde işitme kaybının derecesi önemlidir. İşitme engelinin derecesi, bir kişinin ses frekansı yoğunluğunu ne kadar iyi duyabildiğine bağlı olarak genellikle hafif, orta veya şiddetli olarak tanımlanır. Eğitim ihtiyacı orta derecede işitme engeli ile başlar. İşitme engelinin derecesi arttıkça kullanılan iletişim modelleri ve eğitim teknikleri de farklılık gösterecektir [5].

Eğitimde uygulanan yöntemler işaret desteği alan eğitim yöntemleri ve işaret desteği almayan eğitim yöntemleri olarak iki grupta toplanır:

A- İşaret Desteksiz Eğitim Yöntemi

            1- Doğal Sözel – İşitsel Yöntem

            2- İşitsel Yöntem

            3- Yapısal Sözel-Oral Yöntem

B- İşaret Destekli Eğitim Yöntemi

1- İşaret Dili

2- Tüm (Total) Yöntem

3- İki-Dil Yöntemi (Bilingual

A- İşaret Desteksiz Eğitim Yöntemleri

1- Doğal Sözel – İşitsel Yöntem:

Çocukların var olan işitme kalıntılarından yararlanarak, işitme kaybına uygun cihazların kullanılmasıyla, doğal ortamlarda konuşma ve dil gelişimini sağlamayı amaçlar [6].

2- İşitsel Yöntem:

Çocukla iletişimde sadece işitme duyusu kullanılır. Bu yöntemde de işitme cihazlarının önemi büyüktür. Bu yöntemde çocuk ile iletişim sırasında sadece işitme duyusunu geliştirici etkinlikler ve iletişim yöntemlerinin tercih edilir. Dudak okuma, parmak alfabesi gibi fiziksel yöntemler dinleme becerisinin gelişimini engellediği düşüncesinden dolayı kullanılmaz [6].

3- Yapısal Sözel-Oral Yöntem:

Bu yöntemde, öğretilebileceği ve öğretilmesi gerektiği düşünülen dil, belli kalıplar ve belirli bir sıra ile çocuklara öğretilmektedir [6].

B- İşaret Destekli Eğitim Yöntemleri

1- İşaret Dili:

İşaret dili, kendi dil bilgisi kuralları, alfabesi ve hareketi olan doğal bir dildir. Eller ve yüz ifadelerinden oluşur. İşitme engelli kişilerin kendi aralarında ve işitme kaybı olmayan kişilerle iletişim kurmak için kullandıkları en temel görsel iletişim yöntemidir. İşitme engelli bireylerin ana dili işaret dili olarak kabul edilir. Parmak alfabesi, belgili (işaretli) konuşma diğer yöntemler arasındadır.

2- Tüm (Total) Yöntem:

Dil ediniminde kullanılmakta olan sözel, işitsel, yazılı ve işarete dayalı tüm yöntemleri kullanmaya dayanan eğitim yöntemidir.

3- İki-Dil Yöntemi (Bilingual):

İşitme engelliler için eğitim açısından birinci dil olarak işaret dilini, ikinci dil olarak sözlü dili öğrenmek olarak tanımlanabilir [6].

İşitme Engellilerin Eğitiminde Teknolojik Gelişmeler

İşaret dili tanıma için daha önce çok sayıda farklı teknik mevcuttur. Bu teknikler, görüntü işleme tekniğini kullanan görme tabanlı yaklaşımın yanı sıra el hareketlerinin tanınması için bir sensörün bir eldivene bağlandığı gömülü sistemler tabanlı yaklaşımı içerir. Bu tekniklerin kendine göre avantajları olduğu gibi dezavantajları da bulunmaktadır.

A. Görüntü İşleme Tekniği

Görme tabanlı yaklaşımda, imzalayanın yüz ifadelerinin yanı sıra el işaretlerini izlemek ve tespit etmek için görüntü işleme algoritmaları kullanılır.

B. Doğrudan Cihaz Yaklaşımı

Bu, el hareketlerini tanımak için en yaygın kullanılan ikinci sistemdir. Bu teknikte sapma veya bükülme miktarını ölçen flex sensörler kullanılmaktadır. Doğrudan cihaz yaklaşımı, aletli eldivenler, fleksiyon sensörleri, prob uçları ve konum izleme cihazları gibi el ile doğrudan temas halinde olan ölçüm cihazlarını kullanır.

Burada karmaşık görüntü işleme gerekli değildir, ancak karmaşık donanım mühendisliği becerileri ve programlama gereklidir. Bu tekniğin çıktısı, görüntü işlemeden biraz daha iyidir, ancak sensörler çok bükülme eğiliminde olduğundan ve normal değerlerine dönmeleri uzun zaman aldığından doğruluktan yoksundur. Diğer bir dezavantaj ise imzalayanın sistemin çalışması sırasında sensör donanımını eldivenle birlikte takmak zorunda olmasıdır.

Tahmin edeceğimiz üzere işaret dili tercümesi için bir örüntü tanıma sistemi geliştirmek oldukça zor bir süreçtir. Zorluklardan biri, geleneksel programlama paradigmalarının kullanılmasının sistemi aşırı derecede karmaşık ve dolayısıyla kullanışsız hale getirmesidir. Bu yüzden makine öğrenimi yöntemlerine başvurmamız gerekir.

Marshall vd. (2003), Bungeroth ve Ney (2004), Almohimeed vd. (2011) Arapça ve İngilizce işaret dilleri için metinlerin işaret diline çevirme sistemlerini geliştirmişlerdir. Bu çalışmalarda kural tabanlı ve örnek tabanlı metotlar kullanılmıştır. İşaret diline özgü dil bilgisi kurallarını göz önünde bulundurarak geliştirdikleri sistemlerde metinlerin animasyonlar veya video görüntüleri ile işaret diline çevrilmesi sağlanmıştır [7].

Tkashashi ve Kishino (1992), Wang vd. (2006), Shanableh ve Assaleh (2011) çalışmalarında, cihazlar kullanarak işaret dilini metne çevirme üzerine araştırmalarda bulunmuşlardır. Bu cihazların başında Microsoft firmasının üretmiş olduğu Microsoft Kinect 360 cihazı gelmektedir. [7].

Microsoft Kinect 360

Kinect 360, Microsoft firması tarafından Haziran 2010 tarihinde üretilmiştir. Üzerinde bulundurduğu hoparlör ve sensörler ile sese ve mimik hareketlere bağlı olarak oyunlarda etkileşimlerinde çözümler sunmaktadır. Kinect, RGB (Red Green Blue) ve derinlik sinyallerini deşifre eden hem donanıma hem de yazılıma dayalı teknolojiye sahiptir [7].

Bu sensörün donanım kısmı, bir RGB kamera, üç boyutlu bir derinlik sensörü (IR kamera ve bir projektör), bir ivmeölçer, bir dizi mikrofon ve ivme güçlerini üretebilen bir eğim motorundan oluşur [8].

Microsoft, 2013 yılında özellikle oyun pazarı için Kinect One cihazının gelişmiş bir sürümünü oluşturdu. Kinect One, bir USB 3 bağlantısı aracılığıyla bilgisayarınıza bağlanabilir ve 3B modelleme görevleri için girdi olarak kullanılabilir. Kinect’in iki derinlik kamerası, bir RGB kamerası ve iki mikrofonu vardır.

İlerleyen zamanlarda Kinect cihazı özelliklerini taşıyan Intel firmasının geliştirmiş olduğu Intel RealSense ve el hareketlerini izleyen daha küçük Leap Motion cihazları da kullanılmıştır.

Intel RealSense

Statik manuel Amerikan İşaret Dili hareketlerini metne çevirmek için kullanılır. Sistem, bir destek vektör makinesi veya genetik bir algoritma ile optimize edilmiş bir sinir ağı için girdi olarak avuç içi oryantasyonu ve parmak eklemi verilerini kullanır. Intel RealSense Teknolojisi, makinelere ve cihazlara derinlik algılama yetenekleri kazandırmak için tasarlanmış bir derinlik ve izleme teknolojileri ürün çeşitliliğinden oluşur

Veri Çıkarma için İşaret Dili Arayüzü (SLIDE) uygulaması, el verilerini ellerden alır ve verileri uygun şekilde biçimlendirir; veriler, diğer uygulama tarafından kolayca kullanılabilecek bir biçimde saklanır. Eğitim Uygulaması için İşaret Dili Arayüzü (SLIT) uygulaması, SLIDE uygulamasından çıkarılan el verilerini kullanır ve el verileri üzerinde bir makine öğrenimi modeli geliştirir.Veri Çıkarma Testi için İşaret Dili Arayüzü (SLIDET) uygulaması, kameraya gösterilen ellerden el verilerini alır.Uygulama daha sonra makine öğrenimi modelini çalıştırır ve kameraya gösterilen hareketi tahmin etmek için el verilerini modele aktarır [9].

Leap Motion

‘Leap Motion Controller’, 3B olarak el ve parmak hareketleri için kompakt ve uygun fiyatlı ticarileştirilmiş bir sensördür.

‘Leap Motion Service’, bilgisayarınızdaki görüntüleri işleyen yazılımdır. Arka plan nesneleri ve ortamdaki çevresel aydınlatma için telafi edildikten sonra, cihazın “gördüğü” şeyin 3B bir temsilini yeniden oluşturmak için görüntüler analiz edilir [10].

3Ds Max

Autodesk tarafından geliştirilen 3Ds Max, PC tabanlı bir 3B modelleme, animasyon ve işleme yazılımıdır. 3Ds Max, 3B modelleme yazılımında en yaygın kullanılan uygulamalardan biridir.

İşaret dili sözlüklerindeki kelimelerin görselleştirilmesi için ÇELEBİ adında 3B karakter kullanılmıştır. 3Ds Max programı içerisinde Riglenmiş karakteri, bilgisayar faresi kontrolü ile istenilen hareketler ‘frame’ bazlı olarak kaydedilmiştir [11].

3Ds Max programı Çelebi’nin el, kol ve vücut hareketlerini veri değişimini kolaylaştıran bir metin biçimi olan JSON formatında kaydetmenizi sağlar. Ancak yüz ve taklit hareketleri JSON formatında alınamaz. Bu nedenle Unity programı içerisinde yüz hareketlerini ve taklit hareketlerini JSON formatında kaydeden başka bir program geliştirilmiştir [11].

İşaret Dili Sözlükleri ve bulunduğu kelimeler MS-SQL veri tabanından çekilecek şekilde dinamik tasarlanmıştır. Veri tabanında kayıtlı sözlük ve kelime seçilerek kayıtlı olan animasyon izlenebilmektedir [11].

İşaret dili; vücut hareketlerine, el-kol hareketlerine, parmak hareketlerine ve yüz ifadesi hareketlerine göre anlam kazanmakta, aynı hareketleri vücudun farklı bölgelerinde yapmak farklı anlamlar doğurmaktadır. Düzeltilmesi gereken hareketlerin ve yanlış hareketlerin farkında olmak için Unity ile bir program daha geliştirilmiştir [11].

İşaret dili sözlüğü, sakladığımız MS-SQL veri tabanına bağlanır ve kayıtlı sözlükler ve kelimeler arayüzden seçilebilir. Bir sözlük ve sözlükten bir kelime seçerek ÇELEBİ’nin kayıtlı karakterleri hayat bulacaktır. Seçilen kelime doğru davranırsa, veri tabanındaki ilgili tabloya kaydedilecektir. Harekette bir hata varsa programın açıklama kısmındaki hareket kontrol tablosuna kaydedilir [11].

VirtualSign Game

Bu projenin bileşenlerinden biri, oyuncunun aynı anda jestleri öğrenirken oyunun tadını çıkarabileceği işaret dili ile ilgili didaktik bir oyundan oluşmasıdır. Oyunu daha etkileşimli ve çekici hale getirmek için Kinect de oyuna entegre edildi. Bu projenin temel amacı, işaret dili öğrenimini kolaylaştırmak ve zaten bilenlerin el becerilerini geliştirerek öğrenmeyi zevkli bir deneyim haline getirmektir.

CopyCat

İşiten ebeveynlerden doğan işitme engelli çocukların dile sürekli erişimi yoktur, bu da işiten çocuklara ve işitme engelli ebeveynlerden doğan işitme engelli çocuklara kıyasla daha zayıf çalışma belleğine yol açar. CopyCat, çocukların Amerikan İşaret Dili (American Sign Language, ASL) aracılığıyla bilgisayarla iletişim kurduğu bir oyundur ve dil becerilerini ve çalışma belleğini geliştirdiği gösterilmiştir.

CyberGlove

Yakalama eldivenlerinin kullanılması, bir bilgisayarın bir kişinin yaptığı hareketleri izlemesine ve ardından yazılım aracılığıyla sözlü veya yazılı bir dilde ifade etmesine izin vermenin bir yöntemidir.

Ürünleri, kullanıcıların sanal ortamda ayrıntılı parmak, el ve kol hareketlerini yakalamalarına olanak tanıyarak kullanıcıların sanal ortamdaki dijital nesnelerle etkileşime girmesine olanak tanır [12].

Günümüze kadar işitme engellilerin eğitim ve iletişiminde kullanılmak üzere geliştirilen teknolojilerin çoğu işaret destekli sistemlerdir. Bu sistemler işitme engellilerin eğitim ve iletişiminde önemli ölçüde etkilidir fakat engelli bireyin işitme gelişimini yavaşlatmaktadır. Bu yüzden var olan işitme duyusunun geliştirilmesi üzerine de çalışmalar yapılması gerektiğini düşünüyorum. Ayrıca bahsettiğim teknolojilerin birçoğu Amerikan İşaret Dili ile çalışır durumdadır. İşitme engelli her bir birey var olan teknolojilerin ülkemize de entegre edilmesiyle günlük hayata büyük ölçüde uyum sağlayabilir duruma gelebilir. İşaret dili evrensel bir dil olmadığından ülkemizde de işitme engelli bireyler için bu tarz teknolojilerin geliştirilmesi gerektiğini düşünüyor bu yolda atılan adımları çok değerli buluyorum.

Kaynakça:

  1. Pirim H.F Yapay Zeka, Journal of Yaşar University, 2006, 1(1), 81-93.
  2. [internet] “Sanal Gerçeklik Nedir?”, Türkiye. [25 Nisan 2022 tarihinde erişildi.] Buradan erişilebilir: https://www.tiridi.com/sanal-gerceklik/sanal-gerceklik-nedir.htm
  3. Microsoft Azur, Microsoft Azur hakkında [internet]. ABD, Microsoft Azur. [25 Nisan 2022 tarihinde erişildi.] Buradan erişilebilir: https://azure.microsoft.com/tr-tr/overview/what-is-machine-learning-platform/#benefits
  4. Çelik Ö, Odabaş A. Konvolüsyonel Sinir Ağları Kullanarak Türk İşaret Dili Tanıma, 2020, 923. DOI: 10.31590/ejosat.747231
  5. Çelik Ö. Yapay Zeka Tekniğiyle İşitme Engelliler İçin Uzaktan İletişim Sistemi, YÖK Açık Bilim, 2019, 41-50.
  6. Tarık A. [internet], İşitme Yetersizliği Olan Çocukların Eğitiminde Kullanılan Yöntemler, Rehabilitasyon, Haziran 2007. https://www.rehabilitasyon.com/makale/Isitme_Yetersizligi_Olan_Cocuklarin_Egitiminde_Kullanilan_Yontemler-2507 (25 Nisan 2022 tarihinde erişildi.)
  7. Çelik Ö. Yapay Zeka Tekniğiyle İşitme Engelliler İçin Uzaktan İletişim Sistemi, YÖK Açık Bilim, 2019, 41-50.
  8. Nikita PN, Malode V. Communication Interface For Deaf-Mute People Using Microsoft Kinect, Jawaharlal Nehru Engineering College, 2016, 2-4. DOI: 10.1109/ICACDOT.2016.7877664
  9. Mistry J, Inden B. An Approach to Sign Language Translation using the Intel RealSense Camera, Nottingham Trent University, 2018, 1-3.
  10. Chuan C, Regina E, Guardino C. American Sign Language Recognition Using Leap Motion Sensor, Exceptional, Deaf and Interpreter Education University of North Florida, 2015. DOI:10.1109/ICMLA.2014.110
  11. Çelik Ö. Yapay Zeka Tekniğiyle İşitme Engelliler İçin Uzaktan İletişim Sistemi, YÖK Açık Bilim, 2019, 41-50.
  12. Mohandes MA, Recognition of Two-handed Arabic Signs using the CyberGlove, King Fahd University of Petroleum and Minerals, 2010, 124-124.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir