- Hawrot, A. (2017). Out-of-school learning assistance in adolescence. Educational Psychology [epub ahead of print].
This study inquired into the structure and predictors of out-of-school learning assistance among adolescents. It used longitudinal data gathered from up to 4936 Polish lower-secondary school students. The analysis of the assistance structure, performed with latent class analysis, showed that about 50% of students belonged to the latent class with no assistance. All other students belonged to one of four latent classes, representing types of assistance. These latent classes were: frequent non-paid assistance in all subjects, moderate non-paid assistance in all subjects, non-paid assistance in selected subjects, paid and non-paid assistance in mathematics. The analysis of predictors of assistance provision showed that 12 out of 14 hypothesised factors affected membership probability (MP) in at least one latent class. A lower level of past school achievement raised MP in all the classes. Students’ gender, intelligence, intellectual helplessness, learning disability, educational aspirations, family affluence, level of parental education, and school location predicted MP in selected classes.
- Hawrot, A., Koniewski, M. (2017). Factor structure of the Maslach Burnout Inventory-Educators Survey (MBI-ES) in a Polish-speaking sample. Journal of Career Assessment [epub ahead of print].
This article investigates the psychometric properties of a mainstream burnout measure dedicated to teachers: the Maslach Burnout Inventory–Educators Survey (MBI-ES). The study used data gathered from a random sample of 1,206 primary school teachers in Poland to verify the construct validity of the MBI-ES. Eight alternative measurement models suggested in the literature were tested using confirmatory factor analysis. Contrary to many previous studies, this study did not support the oblique three-factor structure of the MBI-ES. A bifactor model with one general Burnout factor and three specific orthogonal factors of personal accomplishment, depersonalization, and emotional exhaustion showed best fit to the data. Additional analyses supported the measure’s essential unidimensionality. The results yield theoretical implications for construct reconceptualization and practical guidelines for researchers and practitioners.
- Żółtak, T. (2015). Statystyczne modelowanie wskaźników edukacyjnej wartości dodanej – podsumowanie polskich doświadczeń 2005-2015. Warszawa: Instytut Badań Edukacyjnych.
Książka ta stanowi podsumowanie dotychczasowych prac nad rozwojem metodologii wyliczania polskich wskaźników edukacyjnej wartości dodanej (EWD) dla gimnazjów i szkół kończących się maturą. Bazuje ona w dużej mierze na raporcie Statystyczne modelowanie wskaźników edukacyjnej wartości dodanej – podsumowanie polskich doświadczeń (Żółtak, 2013c), w stosunku do którego została jednak gruntownie poprawiona, zaktualizowana i uzupełniona o opis nowych rozwiązań, wdrożonych w latach 2014-2015. W publikacji zawarty został przede wszystkim opis metod statystycznych wykorzystywanych do wyliczania polskich wskaźników EWD. Omówione zostały tu zarówno rozwiązania ostatecznie wdrożone i wykorzystywane do wyliczania publikowanych wskaźników, jak i metody, które były testowane, ale nie zdecydowano się na ich wykorzystanie. Publikacja ta ma charakter w dużej mierze techniczny, choć starano się, aby opisowi metod statystycznych towarzyszył komentarz uzasadniający celowość wykorzystania danej metody oraz omówienie skutków, jakie przyjęcie poszczególnych rozwiązań ma dla zakresu, w jakim będzie można wskaźniki wykorzystać i sposobu, w jaki należałoby je interpretować.
- Dolata, R., Hawrot, A., Humenny, G., Jasińska-Maciążek, A., Koniewski, M., Majkut, P., Blukacz, M., Grygiel, P., Otręba-Szklarczyk, A. (2015). (Ko)warianty efektywności nauczania. Wyniki badania w klasach IV-VI. Warszawa: Instytut Badań Edukacyjnych.
Książka jest poświęcona problemowi wykorzystania wyników standaryzowanych pomiarów osiągnięć szkolnych do oceny efektywności nauczania. Zebrane w toku badania podłużnego w szkołach podstawowych dane pozwoliły precyzyjnie określić międzyszkolne zróżnicowanie już nie tylko wyników nauczania na drugim etapie edukacyjnym – to umożliwiają od 2002 roku wyniki powszechnego sprawdzianu w klasie szóstej – lecz również efektywności nauczania. Czy wszystkie szkoły podstawowe w klasach IV–VI dają taką samą szansę na edukacyjny postęp, a jeżeli nie, to jak duże jest w tym zakresie międzyszkolne zróżnicowanie? Jaki model oceny tak rozumianej efektywności nauczania uznać za najlepszy? To główne pytania, jakie stawiamy w tej książce. W kolejnych rozdziałach staramy się odkryć, z jednej strony, w czym tkwi tajemnica efektywności nauczania, z drugiej – jakie są jej pośrednie konsekwencje. Czym różnią się szkoły efektywnie od mniej efektywnie nauczających? Czy uczniowie efektywnie nauczani różnią się od absolwentów szkół nieefektywnych czymś więcej niż osiągnięciami szkolnymi? - Świst, K., Skórska, P., Koniewski, M., Jasińska-Maciążek, A. (2015). Sex differences in guessing and item omission. Edukacja 3(134), 48-62.
Guessing and item omission may be regarded as risk-taking or risk-avoidance strategies – sex specific adaptations to testing situations. In this article, these phenomena were analysed by (a) percentage of omissions by sex, (b) negative binomial regression to asses sex differences in the number of omissions, (c) c-DIF analysis using IRT-LR test and (d) linear regression using item attributes, to assess whether the c-parameter is sex differentiated by the percentage of omits (controlling item difficulty). The data set analysed were from the 2012–2014 Polish lower-secondary schools final exams, comprising tests in maths, language, science and humanities. Contrary to the vast body of literature, boys omitted items slightly more frequently than girls. Possible explanations of this finding – specific to the Polish examination system – were provided. The hypothesis of a higher c-parameter for boys did not find strong support from this study. It was shown that the c-parameter should not only be interpreted as resulting from item non-omission. This supports the modern concept of the c-parameter as a consequence not only of random guessing, but also problem solving, creative guessing or cheating.
- Żółtak, T., Golonka, G. (2015). Does guessing matter? Differences between ability estimates from 2PL and 3PL IRT models in case of guessing. Edukacja 3(134), 63–76.
Modern approaches to measuring cognitive ability and testing knowledge frequently use multiple-choice items. These can be simply and rapidly scored without problems associated with rater subjectivity. Nevertheless, multiple-choice tests are often criticised owing to their vulnerability to guessing. In this paper the impact of guessing was examined using simulation. Ability estimates were obtained from the two IRT models commonly used for binary-scored items: the two-parameter logistic model and the three-parameter logistic model. The latter approach explicitly models guessing, whilst the former does not. Rather counterintuitively, little difference was identified for point estimates of ability from the 2PLM and 3PLM. Nevertheless, it should be noted that difficulty and discrimination parameters are severely downwardly biased if a 2PLM is used to calibrate data generated by processes involving guessing. Estimated standard errors for ability estimates also differ considerably between these models.
- Jasińska-Maciążek, A. (2015). Wpływ zróżnicowania wieku uczniów na szacowanie gimnazjalnych wskaźników edukacyjnej wartości dodanej. Edukacja 2(133), 115-138.
Badania pokazują, że nie tylko poziom osiągnięć szkolnych, lecz także ich przyrost zależy od wieku uczniów. Znaczenie ma zarówno miesiąc urodzenia osób z tego samego rocznika, jak również fakt bycia młodszym lub starszym od dominującej grupy wiekowej. Wskaźniki edukacyjnej wartości dodanej (EWD) wykorzystywane są w ewaluacji pracy szkół. Istotą ich szacowania jest pomiar względnych przyrostów osiągnięć. W polskich modelach EWD nie wykorzystuje się jednak informacji o wieku uczniów, przez co wyliczone wskaźniki mogą być obciążone. W artykule przedstawiono wyniki badania szacującego wielkość tego obciążenia. Do analiz wykorzystano dane egzaminacyjne polskich gimnazjalistów z czterech sesji egzaminacyjnych (przeprowadzonych w latach szkolnych 2009/2010–2012/2013). Wyniki pokazały, że uwzględnienie w modelach EWD informacji o wieku uczniów w bardzo niewielkim stopniu zmienia oszacowania wskaźników, czyli że wspomniane obciążenie było w ostatnich latach znikome. - Hawrot, A. (2015). Pozaszkolna pomoc w nauce. Edukacja 2(133), 99-114.
Korepetycje jako płatna forma pozaszkolnej pomocy w nauce są stałym tematem debaty publicznej. Najczęściej uznaje się ich powszechność i przypisuje duży wpływ na nierówności edukacyjne. Debata ta opiera się jednak na obiegowych opiniach i ignoruje zjawiska podobne, lecz mniej kontrowersyjne, np. pomoc w nauce udzielaną przez rodzinę. Artykuł zbiera najnowsze dane empiryczne na temat płatnej i bezpłatnej pozaszkolnej pomocy w uczeniu się przedmiotów objętych programem nauczania. Przedstawiono informacje dotyczące skali, prawdopodobnych przyczyn i skutków obu form pozaszkolnej pomocy w nauce oraz charakterystyki korzystających z nich osób.
- Grygiel, P., Humenny, G., Rębisz, S., Bajcar, E., & Świtaj, P. (2014). Peer rejection and perceived quality of relations with schoolmates among children with ADHD. Journal of Attention Disorders.
Objective: The main aim of the current study was to investigate the links between ADHD diagnosis and the objective and subjective dimensions of social relationships among children from primary schools. Method: We used the data from 36 regular classrooms, consisting of 718 students, with each containing at least one child with an established clinical diagnosis of ADHD (38 children). Results: For children with ADHD, the level of the perceived quality of social relations was lower than that of children without such a diagnosis. After controlling for sociometric status, the impact of ADHD on perceived status proved to be statistically nonsignificant but the indirect impact of ADHD on this status through sociometric status was statistically significant. Conclusion: Children diagnosed with ADHD are more often rejected by their peers and have a more pessimistic view of their social world. Moreover, ADHD diagnosis does not have a direct influence on the perceived quality of social relations otherwise than through sociometric status.
- Rajchert, J., Żółtak, T., Smulczyk, M. (2014). Predicting reading literacy and its improvement in the Polish national extension of the PISA study: The role of intelligence, trait- and state-anxiety, socio-economic status and school-type. Learning and Individual Differences 33, 1‑11.
This study investigates predictors of reading literacy and its improvement during one year of education in secondary school. In a sample of 3352 Polish students attending vocational school and 3 types of high-schools (1708 males and 1644 females, mean age 16.7 at the beginning of the study), reading literacy was measured twice in the first and the second year of secondary education using the Program for International Student Assessment (PISA) tools. During the year, intelligence was also assessed and trait- and state-anxiety test was implemented after the second reading measurement. Results showed that vocational school students had lower reading scores than high-school students in the first reading test and this difference grew larger by the second test. Girls not only outperformed boys in reading but improved their skills during the year more than boys as well. We observed positive effects of intelligence and negative overall effect of trait- and state-anxiety. SES only predicted intelligence and first time reading performance.
- Koniewski, M. (2014). Estimating teacher effect using hierarchical linear modelling. Edukacja 5(130), 70-91.
This paper reports a study addressing how teacher effectiveness influences student outcomes in Polish Lower Secondary schools. Data from a Polish nationwide lower secondary school study were analysed. Data included 3883 pupils in 246 classes, in 137 schools with 202 maths teachers and 4119 pupils in 260 classes, in 143 schools with 215 language teachers. Variance of exam scores explained by teacher effect was 12% (maths) and 8% (language skills). Controlling for prior achievement, intelligence and student family background, teacher effects were 5% (maths) and 4% (language skills). Until now there has been no consensus about which teacher characteristics could explain variance in their effectiveness. The scale of “teacher authority/classroom management” explains 91% of exam scores in maths and 81% in language skills, when controlling for prior student achievement, intelligence, student family background and school location.
- Dolata, R., Hawrot, A., Humenny, G., Jasińska-Maciążek, A., Koniewski, M., Majkut, P. (2014). Kontekstowy model oceny efektywności nauczania po pierwszym etapie edukacyjnym. Warszawa: Instytut Badań Edukacyjnych.
Książka podsumowuje wyniki badania podłużnego w klasach I-III szkoły podstawowej, które było prowadzone w latach 2010-2012. Na podstawie zebranych danych podjęto próbę opracowania kontekstowego modelu efektywności nauczania po I etapie edukacyjnym. W rozdziale 1 przedstawiono organizację i aspekty metodologiczne badania podłużnego, które dostarczyło danych niezbędnych do prac nad modelami oceny efektywności nauczania. W rozdziale 2 omówiono wyniki analiz pozaszkolnych uwarunkowań osiągnięć szkolnych w I etapie edukacyjnym w Polsce. Rezultaty tych analiz przygotowały grunt pod prace nad modelami oceny efektywności nauczania, które powinny skutecznie kontrolować wpływ pozaszkolnych, kontekstowych czynników. W rozdziale 3. przedstawiono możliwe do zastosowania dla I etapu kształcenia w Polsce kontekstowe modele oceny efektywności nauczania. Próbę weryfikacji trafności kontekstowych wskaźników efektywności nauczania dla I etapu edukacyjnego na podstawie kryteriów zewnętrznych podjęto w rozdziale 4.
W aneksie 2 opisano szczegółowe wyniki przeprowadzonych analiz.
- Jasińska, A. i Modzelewski, M. (2014). Testy osiągnięć szkolnych TOS3: przykład narzędzia skonstruowanego z wykorzystaniem modelu Rascha. Edukacja 2(127), 85-107.
Większość stosowanych w Polsce testów osiągnięć szkolnych pozbawionych jest mocnego uzasadnienia swojej trafności w postaci szczegółowej dokumentacji. Sytuacja ta wpływa negatywnie na rozwój metodologii konstrukcji tych narzędzi. Artykuł stanowi opis zestawu trzech standaryzowanych testów osiągnięć szkolnych TOS3 wykorzystanych w ramach dwóch badań. Testy te służą pomiarowi osiągnięć szkolnych z obszaru edukacji polonistycznej i matematycznej uczniów kończących I etap edukacyjny. W artykule przedstawiono proces konstrukcji testów osiągnięć z wykorzystaniem modelu Rascha (szczególnego przypadku jednoparametrycznego modelu IRT). Udokumentowano także trafność i rzetelność TOS3, wykorzystując wyniki dwóch reprezentatywnych badań (N > 5000). Artykuł pokazuje korzyści wynikające z wykorzystania modelu pomiarowego podczas budowy narzędzi. Opisane doświadczenia mogą być źródłem wskazówek dla twórców przyszłych testów osiągnięć szkolnych w Polsce.
- Koniewski, M., Majkut, P. i Skórska, P. (2014). Zróżnicowane funkcjonowanie zadań testowych ze względu na wersję testu. Edukacja 1(126), 79-94.
Wnioskowanie na temat umiejętności ucznia na podstawie osiąganych wyników w teście wymaga upewnienia się, że trafnie odzwierciedlają one poziom jego wiedzy. Zadania testowe spełniają ten warunek, jeżeli prawdopodobieństwo poprawnej odpowiedzi zależy wyłącznie od poziomu wiedzy ucznia. Niekiedy prawdopodobieństwo udzielenia poprawnej odpowiedzi zależy od innych cech uczniów, takich jak płeć, pochodzenie etniczne, pochodzenie społeczne, lub od cech samego testu, np. wersji rozwiązywanego arkusza . W takich przypadkach zadanie testowe, a w konsekwencji cały test, nie jest sprawiedliwym i trafnym narzędziem pomiaru wiedzy uczniów. Ma to szczególne znaczenie w sytuacjach, gdy wyniki testu mają duże konsekwencje dla egzaminowanych. Jednym z takich testów wysokiej stawki w polskim systemie oświaty jest egzamin gimnazjalny, który stanowi próg selekcyjny do szkół średnich.
Zobacz także publikacje z poprzedniej edycji projektu.
