Etkisiz Kelimelerin Ayıklanması

Etkisiz kelimeler (stop words), doğal kurulan cümlelerde anlamsal olarak cümle yapısını değiştirmeyen kelimelerdir. Örneğin peki, belki, sence, ama, aynen bu kelimelere örnektir. Günlük konuşmalarda cümleler içinde bunları kullanırız tek başına anlamları vardır ama bütün cümle içinde anlamı değiştirmezler. Aşağıdaki görsellerde CEYD dilinin hata ayıklama (DEBUG) ekranını görüyoruz. Tüm kullanıcılar CEYD-A ayarlarından bu özelliği açabilirler. Yüz binlerce kurgusu olan CEYD-A yapısına eklenen yeni basit bir kurgu ile cümle içinde etkisiz kelimeler tespit edilip cümleden çıkarılıyor ve en son temizlenen cümle devreye konuyor. Aşamalar öz yinelemeli (recursive) olarak geçiliyor ve sonuç alınana kadar devam ediyor. Aşamalarda anlamlı farklı bir cümle oluştuğunda kurgu yönü de değişiyor. Etkisiz kelimelerin tespitini yapan kurgu kodu ve blok geliştirme tasarımlarını da aşağıda bulabilirsiniz.

Hata ayıklama modu açık olduğunda aşağıdaki görsellere benzer sonuçlar ile karşılaşacaksınız. Her satır kutusunun başındaki sayı iterasyon sayısını göstermektedir. Her cümle 100 aşamaya kadar iterasyon görebilir. Aşamalar öz yineleme veya iç içe çağrım olarak gerçekleşebilir. Aşamaları belirleyen faktör, kurgudaki her bir kelime öbeğinin o kurgu için belirlenen katsayı oranının aktive edildikten sonra farklı öbekler ile etkileşiminden oluşan yeni bir işlem sonucudur. Satır kutularındaki ilk satırda sayıdan sonra gelen kelime öbeğinin yanındaki sayılar kelime öbeği katsayısıdır.

CEYD Blok Tasarım geliştirmeleriniz için http://ceyd-a.net/komutekle sayfasından giriş yapabilirsiniz.

Kurgunun çalışma prensibini özetleyelim: İçinde acaba, peki veya o zaman geçen cümlelerde, bu kelimelerden önce gelen bölüm yani cümlenin başı 1.PARAMETRE, cümlenin sonunu ise 3.PARAMETRE olarak farzediyoruz. 2.PARAMETRE (acaba|peki|o zaman) öbeklerinden biri olacak. Eğer 1.PARAMETRE veya 3.PARAMETRE boş değil ise etkisiz sözcükleri filtreliyoruz ve 2.PARAMETREYİ düşünmeyip 1.PARAMETRE ile 3.PARAMETRE nin birleşimini çalıştırıyoruz.  Öz yineleme parametreler içinde hiçbir etkisiz sözcük kalmayana dek devam edecektir.

Etkisiz Kelime Filtrelemek için hazırlanan kurgunun Blok Tasarım geliştirmesi

Blok geliştirme yerine CEYD kodu ile geliştirmek isteyenler, Kod Geliştirmek İstiyorum linkine tıklayarak aynı geliştirmeleri kod yazarak da yapabilirler.

Etkisiz Kelime Filtrelemek için hazırlanan kurgunun CEYD Kodu

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

This site uses Akismet to reduce spam. Learn how your comment data is processed.