Ölçme Değerlendirme Metinlerinin Seçimi ve Yazımına Yönelik Bir Araç: Okur Dostu Bilgilendirici Metin Dereceli Puanlama Anahtarı (ODBİMDEPA)

ÖZ

Konusu, metin değerlendirmede kullanılan dereceli puanlama anahtarları (rubrik, rubric) olan bu çalışmada, hem eğitim ortamlarında hem de farklı sınavlar yapan kurumların (MEB, ÖSYM, Yunus Emre Enstitüsü/YEE gibi) sınavlarında kullanılan bilgilendirici metinlerin okur dostu olup olmadıklarının belirlenebilmesi için geliştirilen ve güvenirlik çalışması yapılan Okur Dostu Bilgilendirici Metin Dereceli Puanlama Anahtarı’nın (ODBİMDEPA) alanyazına tanıtılması ve incelenen metinlerle ilgili gözlemlerin aktarılması amaçlanmıştır. Bu amaç doğrultusunda, çalışmada belge (doküman) inceleme yöntemi kullanılarak iki farklı veri tabanı oluşturulmuştur: Birinci aşamada kullanılan birinci belge seti, MEB tarafından 2018 yılında okutulan 5, 6, 7 ve 8.sınıf ders kitaplarındaki toplam 50 bilgilendirici metin; ikinci aşamada kullanılan ikinci belge seti, ÖSYM tarafından 2023 ve 2024 yıllarında yapılan YKS testlerindeki sorularda geçen toplam 37 bilgilendirici metinden oluşmaktadır. İlk belge setini birbirinden bağımsız 2 akademisyen; ikinci belge setini 4 alan için 11 uzman, 1 alan için ise 13 uzman değerlendirici ODBİMDEPA’nın sekiz boyutu için ayrı ayrı puanlanmıştır. Çözümlemelerde, çalışmanın birinci aşamasındaki puanların ağırlıklı kappa katsayısına bakılmış ve ağırlıklı ortalamanın kabul edilebilir olduğu ve ODBİMDEPA’nın güvenirlik açısından anlamlı (genellikle uyuşma) olduğu sonucuna ulaşılmıştır. Çalışmanın ikinci aşamasında veri tabanı çok yüzeyli Rasch modeliyle çözümlenmiş ve değerlendirici güvenirliği 0.95 bulunmuştur. Bu sonuç, geliştirilen puanlama anahtarının güvenirliğinin oldukça yüksek olduğunu göstermektedir. Bu bulgular ışığında ODBİMDEPA kullanılarak MEB, ÖSYM gibi sınav uygulamaları yapan kurumların sınavlarında kullanılan ya da eğitim ortamlarında okutulan kitaplarda yer alan bilgilendirici metinlerin ne kadar okur dostu olduğu sayısal olarak ifade edilebilecek ve metinlerin sınavlarda ya da derslerde kullanılıp kullanılmamasına nicel olarak da karar verilebilecektir.