Açık uçlu soru hazırlama kursu-1.pptx

ÖLÇME DEĞERLENDİR ME FARKINDALIK KURSU Şuayip DEMİRTEL Adana Ölçme Değerlendirme Merkezi adanaodm.meb.gov.tr  İÇERİK 1 1.Gün: Ölçme ve Değerlendirmenin Önemi-Ölçme Değerlendirmede Temel Kavramlar 2. Gün: N...

ÖLÇME DEĞERLENDİR ME FARKINDALIK KURSU Şuayip DEMİRTEL Adana Ölçme Değerlendirme Merkezi adanaodm.meb.gov.tr  İÇERİK 1 1.Gün: Ölçme ve Değerlendirmenin Önemi-Ölçme Değerlendirmede Temel Kavramlar 2. Gün: Niye Açık Uçlu?- Bloom Taksonomisi- Test Planı Süreci Temel Aşamaları 3. Gün: Holistik ve Analitik Rubrik- Atölye Çalışması 4. Gün: Madde Analizi- Atölye Çalışması 5. Deneme Uygulaması Analizleri- Değerlendirme  TEMEL KAVRAMLAR 2 Ölçme ve değerlendirmenin eğitimdeki amaçları:  Öğretim programının değerlendirilmesi,  Öğretimin etkililiğinin değerlendirilmesi,  Öğrenme eksikliklerinin saptanması,  Öğrencilerin yetenek ve ilgilerine uygun alanlara yönlendirilmesi,  Öğrenci başarısının değerlendirilmesi,  Değerlendirme araçlarının ve ölçütlerinin değerlendirilmesi olarak belirtilebilir (Turgut ve Baykul, 2012).  ULUSAL VE ULUSLARARASI EĞİTİM ARAŞTIRMALARI 3 Destekleme ve Yetiştirme Kursları Ortak Sınavları Öğrenci Başarı İzleme Araştırması Kazanım Değerlendirme Araştırmaları  Programı Programme for International Student Assessment 4 Ekonomik İşbirliği ve Kalkınma Örgütü (OECD) tarafından üçer yıllık dönemler hâlinde, 15 yaş grubundaki öğrencilerin kazanmış oldukları bilgi ve becerileri değerlendiren bir araştırmadır. PISA, 2000 yılında uygulanmaya başlamıştır. Araştırmaya ülkemiz, ilk kez 2003 yılında katılmıştır. PISA’nın amacı nedir? PISA’nın temel amacı, öğrencilerin okulda öğrendikleri bilgi ve becerileri günlük yaşamda kullanma becerisini ölçmektir. PISA neyi ölçmektedir? 15 yaş grubundaki öğrencilerin; Matematik okuryazarlığı, Fen Bilimleri okuryazarlığı ve Okuma Becerileri konu alanlarının dışında, öğrencilerin motivasyonları, kendileri hakkındaki görüşleri, öğrenme biçimleri, okul ortamları ve aileleri ile ilgili veriler toplanmaktadır. pisa.meb.gov.tr  PISA Amacı 5  Gelecekteki zorluklar ile başa çıkabilmek için hazırlar mı? Bir durumu analiz edebilecek, muhakeme edebilecek ve etkili bir şekilde iletişim kurabilecekler mi?  Fikirleri problem çözmek için ne kadar iyi kullanabilecekler? Hayat boyu öğrenmeyi sürdürebilecekler mi?  Uluslararası Matematik ve Fen Eğilimleri Araştırması Trends in International Mathematics and Science Study 6 Uluslararası Eğitim Başarılarını Değerlendirme Kuruluşu (IEA) tarafından yapılmakta olan dünyadaki en büyük ve en kapsamlı uluslararası öğrenci başarılarını değerlendirme çalışmasıdır. 4. ve 8. sınıf düzeyindeki öğrencilere uygulanır. 4 yılda bir yapılmaktadır (Ülke olarak ilk kez 1999 da katıldık.). TIMSS Projesinin Amacı TIMSS’in temel amacı, dünya çapında matematik ve fen eğitim öğretiminin gelişmesine yardımcı olmaktır. TIMSS, katılımcı ülkelere aşağıdaki soruların cevaplarını bulmasına yardımcı olur: Öğrencilerimizin matematik ve fende durumu nedir? Zaman içinde bu durum iyileşiyor mu? Durumumuzu nasıl geliştirebiliriz? Diğer ülkelere göre durumumuz nasıl? Diğer ülkeler başarının arttırılması konusunda ne yapıyor? timss.meb.gov.tr TIMSS Amacı 7 Matematik ve bilim eğitiminin küresel etkinliğini ölçmek  Öğrenme kaynaklarındaki ve imkanlarındaki eksiklikleri belirlemek  Zayıf noktaları belirlemek ve müfredat reformunu desteklemek  Yeni eğitim girişimlerinin etkinliklerini ölçmek  Araştırmacıları ve eğiticileri ölçme değerlendirme konusunda eğitmek   Uluslararası Okuma Becerilerinde Gelişim Araştırması Progress in International Reading Literacy Study 8 PIRLS, 5 yıllık döngülerle yapılan bir tarama araştırmasıdır. PIRLS Araştırmasının Amacı: PIRLS, ilkokul 4. sınıf öğrencilerinin farklı metin türlerine göre okuduğunu anlama becerilerini ve okuma alışkanlıklarını ortaya koymayı hedeflemektedir. Bunun için öğrencilerin okuma becerilerini belirlemek için bilişsel testler ile öğrencilerin bu becerilerini etkileyen faktörleri belirleyebilmek amacıyla okul, öğretmen, öğrenci ve veli anketleri uygulanmaktadır. Ülkemizin Katılım Süreci: PIRLS araştırmasına ülkemiz sadece 2001 yılında katılmıştır. 20 yıl aradan sonra ülkemiz PIRLS 2021 döngüsüne katılmıştır. pirls.meb.gov. tr  (Akademik Becerilerin İzlenmesi Değerlendirilmesi) 9 Projenin Amacı Nedir? Farklı madde formatlarını kullanarak üst düzey zihinsel özelliklerini ölçmeye yönelik beceri testlerinin geliştirilmesi ve öğrencilerin üst düzey zihinsel özelliklerine sahip olma durumlarının belirlenmesidir. abide.meb.gov.t r  (Akademik Becerilerin İzlenmesi Değerlendirilmesi) 1 0 Projenin alt amaçları ise şunlardır: 4, 8 ve 10. sınıf düzeyinde öğrencilerin Türkçe, matematik, fen ve teknoloji alanlarında zihinsel becerilere ne ölçüde sahip olduklarını belirlemek, Öğrencilerin başarılarını etkileyen duyuşsal özellikleri, aile ve okul özelliklerini ortaya koymak. abide.meb.gov. tr  TEMEL KAVRAMLAR 11 Öğretmenlerin Ölçme Değerlendirme ile İlgili Temel Becerileri Kazanmasının Önemi 1. Ders kazanımlarını öğrencilerin ne düzeyde öğrendiklerini ölçebilmek için uygun sınav türünü seçebilme 2. Öğrenci başarısını izleyip geri dönüt verebilmek için uygun ölçme araç ve yöntemlerini bilme 3. Sınavların hazırlanması, uygulanması ve puanlanmasında nelere dikkat edeceğini bilme 4. Verdiği puanların ne kadar hata içerdiğini bilme 5. Bazı standart test puanlarının ne anlama geldiğini bilme 6. Hazırladığı sınavın kapsamının uygunluk derecesini bilme 7. Soru yazma tekniklerini ve yazdığı soruları nasıl iyileştirebileceğini bilme 8. Uyguladığı soruları teknik olarak analiz edebilme 9. Öğrenme amaçlarına uygun güvenirliği ve geçerliği yüksek bir ölçme aracını nasıl geliştirebileceğini bilme  2 Ölçme ve değerlendirme AMAÇ değildir. ARAÇTIR. Ölçme öğrenme ve öğretimin niteliğini arttırmak için kullanılır. Öğrenme gelişimsel bir süreçtir. Ölçme öğrenmelerin ne ölçüde gerçekleştiğini takip etmek ve geri bildirim vermek amacıyla kullanılır. Not vermek tek amaç değildir. 15 Sınıf İçi Ölçme ve Değerlendirme Sonuçlarının Genel Kullanım Amaçları 16 Öğrenci gelişimini izleme Geri bildirim(Öğrenci/Öğretmen/Aile) Program ve materyalleri gözden geçirme  TEMEL KAVRAMLAR 17 ÖĞRETİM SÜRECİ 3 basamaklı sayılarla toplama ve çıkarma işlemlerini yapar Öğretim Hedeflerini Geliştirme İki basamaklı sayılarla toplama ve çıkarma işlemi Hazırbulunuşluluğu belirleme yaparak sonucu bulmalarını gerektiren açık uçlu sınav yapar Uygun Öğretim Yöntem ve Tekniklerini Eksik becerileri kazandıracak alıştırmalar Seçme yapar Öğretimi Değerlendirme Öğretimi Değerlendirme Sürece yönelik Sonuca yönelik Öğrenme sürecinde, Sürece yönelik Sonuca yönelik Öğrencilere yeni test etkinlikler devam ederken, uygulanır ve öğrenciye düzeltici, yönlendirici ve başarı düzeyi için bir puan destekleyici ipuçlarında verilir. bulunur  TEMEL KAVRAMLAR 18 ÖLÇME NEDİR? Belirli bir nesnenin ya da nesnelerin belli bir özelliğe sahip olup olmadığını, sahipse sahip oluş derecesinin gözlenip, gözlem sonuçlarının sayı ve sembollerle ifade edilmesidir. A 1 Objelerin niteliklerinin B sayı 2 ve sembollerle C eşlenmesidir. 3  TEMEL KAVRAMLAR 19 ÖLÇME TÜRLERİ Doğrudan Ölçme: Ölçülecek niteliğin (özelliğin) doğrudan gözlenmesi sonucu yapılan ölçmedir. Dolaysız bir şekilde gözlem yapılabildiğinden, ölçülen nitelikler somuttur.  Ölçülecek özelliğin kendisi doğrudan gözlenebiliyorsa doğrudan ölçme yapılır  Boy ve ağırlığın ölçülmesi  Sınıftaki öğrenci sayıları  Öğrencinin sahip olduğu kitap sayısının belirlenmesi  Bir torba kömürün kefeli terazi ile ölçülmesi  TEMEL KAVRAMLAR 20 ÖLÇME TÜRLERİ Dolaylı Ölçme: Bir değişkeni başka bir değişken yardımıyla gözlemeye dayanan ölçmeye dolaylı ölçme denir.  Değişkenin özelliğinin doğrudan ölçülemediği durumlarda, başka değişken yardımı ile ölçülmesidir.  Eğitimde sıklıkla kullanılan ölçme türüdür.  Bilişsel ve duyuşsal becerilerin ölçümünde dolaylı ölçme kullanılır.  Ölçülen özellik ile kullanılan ölçme aracının niteliği farklıdır.  Özellik kendine ait olmayan başka bir araçla ölçülür.  Sıcaklığın ölçülmesi  Öğrencinin zeka ve başarı düzeyinin ölçülmesi  TEMEL KAVRAMLAR 21 ÖLÇME TÜRLERİ Dolaylı Ölçme: Göstergeyle Ölçme Bir değişkenin (özelliğin) başka bir değişken yardımıyla ölçülmesidir. Göstergeyle ölçmede, ölçülen değişkenin bir nevi göstergesi olabilecek başka değişkenden faydalanma söz konusudur. Öğrencilerin başarılarını ölçmek amacıyla yapılan sınavlardaki sorulara verdikleri yanıtlar başarılarının bir göstergesi kabul edilir. Örnekler; * Oda sıcaklığının termometre ile ölçülmesi * Bir çuval patatesin ağırlığının yaylı kantar ile ölçülmesi. (yayın gerilimi ölçülüyor)  TEMEL KAVRAMLAR 22 DEĞERLENDİRME NEDİR? Gözlem sonuçlarının bir ölçüt veya ölçütlerle karşılaştırılarak bir karara varılmasıdır. (Turgut&Baykul,2010) Değerlendirmenin öğeleri ölçme, ölçüt ve karardır. Gözlem Değerlendirme işlemi Ölçüt ya ölçmeden (değer yargısı) Ölçüt (Ölçme) önce belirlenmiş bir standarttır ya da gruba bağlı olarak çıkarılmış tipik bir Karar puandır. Mutlak Bağıl Ölçüt Ölçüt Yusuf’un matematik sınav sonucu 85’tir. Sınıf ortalamasını Yusuf matematikte geçenler başarılı başarılıdır. Yusuf matematik olacaktır. Ortalama dersini geçti. 70 bulunmuştur.  TEMEL KAVRAMLAR 23 ÖLÇME VE DEĞERLENDİRMENİN KULLANIM AMAÇLARI  TEMEL KAVRAMLAR 24 Sonuç Değerlendirme  TEMEL KAVRAMLAR 25 Sonuç Değerlendirme  TEMEL KAVRAMLAR 26 Sonuç Değerlendirme  TEMEL KAVRAMLAR 27 ÖLÇME ARAÇLARINDA BULUNMASI GEREKEN ÖZELLİKLER Test-tekrar test Güvenirliği tahmin yöntemleri Kapsam geçerliği Testi yarılama Ölçüt Ölçme Paralel testler Türleri geçerliği Geçerlik Aracının Güvenirlik Yapı Nitelikleri KR-20 ve21 geçerliği formülleri Görünüş Cronbach geçerliği Alpha Kullanışlılık Puanlayıcılar arası tutarlılık  TEMEL KAVRAMLAR 28 ÖLÇME ARAÇLARINDA BULUNMASI GEREKEN ÖZELLİKLER Güvenirlik Nedir?  TEMEL KAVRAMLAR 29 ÖLÇME ARAÇLARINDA BULUNMASI GEREKEN ÖZELLİKLER Duyarlılık : Duyarlık ölçme aracının veya ölçme sonuçlarının biriminin büyüklüğüne bağlıdır. Kararlılık : Bir ölçmenin kararlı olması demek, bir niteliğin, aynı araçla birden çok defa ölçüldüğünde benzer veya aynı sonuçlar vermesidir. Tutarlılık : Birden fazla ölçmenin aynı ya da yakın sonucu vermesidir. Tutarlılık daha çok ölçme aracıyla, kararlılık ölçme işlemiyle ilgilidir.  TEMEL KAVRAMLAR 30 HATA TÜRLERİ I-Sabit hatalar II-Sistematik hatalar III-Tesadüfi hatalar TEMEL KAVRAMLAR 31 HATA TÜRLERİ  TEMEL KAVRAMLAR 32 Uygulamaya Dayalı Güvenirlik Katsayısının Tahmin Edilmesi Dayalı Yöntemler Eşdeğer Tek Uygulamaya Yarılar Birden Çok Yöntemler Test - Tekrar Test Yöntemi Yöntemi KR-20 ve KR- Paralel Testler 21 (Eşdeğer formlar)Yöntemi Alfa katsayısı  TEMEL KAVRAMLAR 33  Ölçme aracından kaynaklanan hatalar Güvenirliği Etkileyen  Ölçmeyi yapan kişiden kaynaklanan Faktörler hatalar  Güvenirlik belirleme yöntemleri  Testi alan kişi ya da grubun özelliklerine yönelik faktörler  Testi uygulama koşulları  Şans başarısı  TEMEL KAVRAMLAR 34  İçeriğe uygun olarak testteki soru sayısının artırılması, Güvenirli  Soruların öğrencilerin seviyelerine uygun hazırlanması, ği  Sınav süresi gereğinden uzun ve gereğinden kısa verilmemesi, Arttırmanı  Test sonuçlarının duyarlı bir şekilde kaydedilmesi,  Soruların öğrenciler açısından açık ve anlaşılır olması ve her bir n Yolları sorunun tek ve kesin bir doğru cevabının olması,  Öğrencilerin test sorularını hızlı ve dikkatli bir şekilde okumaya teşvik edilmeleri,  Kopya yapılmasının önlenmesi,  Sınav ortamının ışık, ses, ısı, havalandırma, gürültü gibi değişkenler açısından uygun hale getirilmesi,  Soruların, öğrencilerin yaklaşık yarısı tarafından cevaplandırılabilir olması, gibi düzenlemeler güvenirliği arttırır.  TEMEL KAVRAMLAR 35 ÖLÇME ARAÇLARINDA BULUNMASI GEREKEN ÖZELLİKLER Geçerlik Nedir?  TEMEL KAVRAMLAR 36 ÖLÇME ARAÇLARINDA BULUNMASI GEREKEN ÖZELLİKLER Geçerlik Nedir?  TEMEL KAVRAMLAR 37 ÖLÇME ARAÇLARINDA BULUNMASI GEREKEN ÖZELLİKLER Geçerliği Etkileyen Faktörler  TEMEL KAVRAMLAR 38 ÖLÇME ARAÇLARINDA BULUNMASI GEREKEN ÖZELLİKLER Geçerliği Etkileyen Faktörler  TEMEL KAVRAMLAR 39 ÖLÇME ARAÇLARINDA BULUNMASI GEREKEN ÖZELLİKLER Geçerlik Türleri  TEMEL KAVRAMLAR 40 ÖLÇME ARAÇLARINDA BULUNMASI GEREKEN ÖZELLİKLER Geçerlik Türleri KAPSAM TEMEL KAVRAMLAR 41 KAPSAM-BELİRTKE TABLOSU TEMEL KAVRAMLAR 42 KAPSAM-BELİRTKE TABLOSU  TEMEL KAVRAMLAR 42 KAPSAM-BELİRTKE TABLOSU Kullanılabilecek Soru Tipleri Çoktan Çoktan Çoktan seçmeli Çoktan Açık uçlu Açık uçlu seçmeli seçmeli seçmeli Boşluk doldurma Boşluk Boşluk Boşluk doldurma doldurma Eşleştirmeli doldurma Eşleştirmeli Eşleştirmeli Doğru-yanlış Eşleştirmeli Doğru-yanlış Doğru-yanlış Açık uçlu Doğru-yanlış OLUŞTURM Açık uçlu Açık uçlu Açık uçlu DEĞERLEN A DİRME BİLGİ KAVRAMA UYGULAMA ANALİZ  TEMEL KAVRAMLAR 43 KAPSAM/BİLİŞSEL SÜREÇLER (Bloom Taksonomisi) Bilgi : Tanımla, listele, eşleştir, bul, hatırla, adlandır, seç, yaz Kavrama : göster, dönüştür, savun, ifade et, ayır, açıkla, tahmin et, genelle, sonuç çıkar, örnek ver, özetle Uygulama : transfer et, geliştir, hesapla, organize et, kullan, çöz, hazırla, ilişkilendir, uygula, çalıştır, değiştir, üret, oluştur Analiz : destekle, analiz et, delil topla, yorumla, sonuçla, ilişki kur, parçalara ayır Sentez : öner, birleştir, geliştir, sentezle, organize et, düzenle  TEMEL KAVRAMLAR 44 KAPSAM/BİLİŞSEL SÜREÇLER (Haladyna Taksonomisi) Haladyna göre öğrenme 3 basamakta gerçekleşir. BECERİLERİN ÖLÇÜLMESİ VE MADDE ÖRNEKLERİ 45  BECERİLERİN ÖLÇÜLMESİ VE MADDE ÖRNEKLERİ 46 Neden Becerileri Ölçmeliyiz?  BECERİLER,  Dayanıklı yapılardır. (Uzun zamanda gelişen)  Değişime karşı dirençlidirler. (Uzun zamanda değişmeyen)  Kapsamdan bağımsız, bilişsel yapılarla bağımlı içsel yapılardır.  Gözlenebilir ve ölçülebilir yapılardır. BECERİLERİN ÖLÇÜLMESİ VE MADDE ÖRNEKLERİ 47  BECERİLERİN ÖLÇÜLMESİ VE MADDE ÖRNEKLERİ 48 Beceri Temelli Çoktan Seçmeli Madde  TEMEL KAVRAMLAR 49 SON SINAVLARDA ÖNE ÇIKANLAR YENİ NESİL SORU? BECERİ TEMELLİ SORU? Okuma becerisi ön planda ve sorularda kelime sayısı artmıştır  TEMEL KAVRAMLAR 50 SON SINAVLARDA ÖNE ÇIKANLAR YENİ NESİL SORU? BECERİ TEMELLİ SORU? Okuma becerisi ön planda ve sorularda kelime sayısı artmıştır Görüldüğü gibi artık soruların zorluğu bir tarafa, sınavda okuyup anlamamız gereken kelime sayısı da %100 den fazla artmış durumda. TEMEL KAVRAMLAR 51 MADDE ANALİZİ TEMEL KAVRAMLAR 52 MADDE ANALİZİ TEMEL KAVRAMLAR 53 MADDE ANALİZİ TEMEL KAVRAMLAR 54 MADDE ANALİZİ TEMEL KAVRAMLAR 55 MADDE ANALİZİ TEMEL KAVRAMLAR 56 MADDE ANALİZİ TEMEL KAVRAMLAR 57 MADDE ANALİZİ TEMEL KAVRAMLAR 58 MADDE ANALİZİ TEMEL KAVRAMLAR 59 MADDE ANALİZİ TEMEL KAVRAMLAR 60 MADDE ANALİZİ TEMEL KAVRAMLAR 61 MADDE ANALİZİ TEMEL KAVRAMLAR 62 MADDE ANALİZİ TEMEL KAVRAMLAR 63 MADDE ANALİZİ TEMEL KAVRAMLAR 64 MADDE ANALİZİ TEMEL KAVRAMLAR 65 MADDE ANALİZİ TEŞEKKÜR EDERİZ