Jak szacujemy EWD?
Gdyby wszystkie szkoły w Polsce pracowały z uczniami o tym samym poziomie uprzednich osiągnięć szkolnych, wyniki egzaminu końcowego byłyby dobrą miarą efektywności. Ale tak nie jest. Metoda EWD pozwala uwzględnić zróżnicowanie szkół ze względu na zasoby „na wejściu”. W wypadku gimnazjów najlepszą, dostępną miarą zasobów na wejściu są wyniki uczniów na sprawdzianie w klasie VI. Rezultaty tego testu mówią nie tylko o poziomie osiągnięć szkolnych ucznia na progu gimnazjum, ale są też „nośnikiem” informacji o środowisku rodzinnym dziecka, o jego poziomie zdolności i motywacji szkolnej. Dzieje się tak dlatego, że wyniki sprawdzianu są uwarunkowane podobnymi czynnikami, co rezultaty egzaminu gimnazjalnego.
Wskaźnik EWD dla szkoły mówi o tym, na ile wysokie/niskie wyniki egzaminu końcowego uzyskali jego absolwenci w porównaniu do uczniów w w całej Polsce o analogicznych wynikach na sprawdzianie. Wskaźnik ma charakter względny, czyli służy do porównywania szkół. W skali kraju wskaźnik EWD ma z definicji wartość równą zeru. Wartość dodatnia EWD wskazuje na ponadprzeciętną efektywność nauczania, wartość ujemna na niższą niż przeciętna efektywność.
Statystyczną ideę szacowania wskaźników EWD dobrze ilustrują dwa poniższe wykresy.
To tak zwane wykresy rozrzutu. na obu widzimy zależność statystyczną między wynikiem na sprawdzianie w klasie VI szkoły podstawowej (oś pozioma) a wynikami egzaminu gimnazjalnego trzy lata później (oś pionowa). Dla przykładu wybrano wykresy pokazujące zależność dla sprawdzianu w 2003 roku i egzaminu gimnazjalnego w części matematyczno-przyrodniczej trzy lata później, czyli w 2006 roku.
Małe punkciki to graficznie przedstawione wyniki ponad 400 tysięcy gimnazjalistów zdających w 2006 roku egzamin. Linia (zwana linią regresji) pokazuje zależność statystyczną między wynikami na sprawdzanie i egzaminie gimnazjalnym w skali całego kraju. na tak sporządzone wykresy naniesiono dodatkowe, kolorowe punkty symbolizujące wyniki dla dwóch wybranych do analizy szkół. Najpierw skupmy uwagę na wykresie po lewej stronie. Punkty czerwone, to wyniki uczniów w szkole A, punkty zielone to wyniki w szkole B. Która szkoła lepiej naucza? Gdybyśmy skupili uwagę tylko na wynikach końcowych, bez wahania powiedzielibyśmy, że szkoła B. Średnia arytmetyczna wyników egzaminu gimnazjalnego w tej szkole to około 36 punktów, średnia w szkole a to raptem 22 punkty. Ale zwróćmy uwagę, że szkoła B pracowała z uczniami o bardzo wysokich wynikach na sprawdzianie, szkoła a miała uczniów o znacznie niższym poziomie uprzednich osiągnięć. Jak to wziąć pod uwagę w ocenie pracy szkoły? Wystarczy odnieść wyniki na egzaminie gimnazjalnym do średnich rezultatów uzyskiwanych w kraju przez uczniów o danej liczbie punktów na sprawdzianie trzy lata wcześniej. Te punkty odniesienia wskazuje linia regresji. Zobaczmy, że zarówno wyniki szkoły A, jak i szkoły B lokują się powyżej tej linii. Oznacza to, że obie uczą bardziej efektywnie, niż przeciętne gimnazjum w kraju, uczniowie mają w obu szkołach szansę na ten sam postęp. Choć pod względem wyników końcowych szkoły dzieliła przepaść, to pod innym ważnym – a z punktu widzenia ewaluacji szkoły ważniejszym – względem są takie same. w obu notujemy dodatnią edukacyjną wartość dodaną.
Przenieśmy uwagę na wykres po prawej stronie. na nim naniesiono wyniki dwóch innych szkół, na czerwono gimnazjum C, na zielono gimnazjum D. i znów ze względu na wyniki końcowe, jedna szkoła (C) jest wyraźnie gorsza od drugiej (D). Ale analiza EWD wskazuje, że to szkoła C (czerwone kropki) efektywniej naucza. Wyniki uczniów w tej szkole lokują się powyżej linii statystycznie przewidywanego wyniku. Natomiast wyniki w szkole D są poniżej tej linii, co oznacza efektywność nauczania poniżej przeciętnej dla kraju (mówimy wtedy o ujemnym EWD).
W praktyce wskaźniki EWD dla szkół szacuje się w trochę bardziej złożony sposób, ale ogólny idea pozostaje bez zmian.
Dlaczego wskaźniki trzyletnie?
W szacowaniu wskaźników wykorzystujemy wyniki z trzech kolejnych lat. Dlatego mówimy o wskaźnikach trzyletnich. Sposób liczenia trzyletnich wskaźników dobrze pokazuje poniższy wykres.
Co roku odrzucane są dane z najstarszego uprzednio uwzględnionego rocznika, a dodawane są wyniki aktualne.
Obliczanie trzyletnich wskaźników uzasadnione jest z kilku powodów. Najważniejszy to fakt, że wyniki egzaminacyjne obarczone są niepewnością pomiarową. Im większą pulą danych dysponujemy, tym mniejszy wpływ tej niepewności na szacowanie wskaźników dla szkoły. Używając wyników z trzech kolejnych lat, zyskujemy trzy razy więcej danych, a duża ilość informacji oznacza większą precyzję szacowania. Ewaluacja szkoły nie jest dzięki temu uzależniona od chwilowych zmian, jednorazowych „statystycznych kaprysów” zwiększających lub zmniejszających wartość wskaźników.
Jednak wskaźniki trzyletnie mają też swoją wadę – są mniej wrażliwe na realne zmiany dokonujące się w krótkim czasie. Dlatego szkoła nie powinna poprzestawać na analizie wskaźników wieloletnich i w ramach analiz wewnątrzszkolnych powinna obliczać za pomocą Kalkulatora EWD miary jednoroczne.
Jakie dane wykorzystywane są do szacowania wskaźników?
Do szacowania wskaźników wykorzystujemy wyniki testów egzaminacyjnych w wersji standardowej dla uczniów zdających w terminie głównym. do 2011 roku w analizach nie uwzględniano wyników uczniów drugorocznych. Od trzylatki 2010-2012 do szacowania EWD używa się również wyników uczniów o przedłużonym o rok cyklu kształcenia. Włączenie tych uczniów jest możliwe ponieważ opracowano specjalny sposób szacowania EWD uwzględniający specyfikę tej kategorii uczniów.
Na jakiej skali prezentowane są wyniki?
Korzystanie z wyników z różnych edycji egzaminów zewnętrznych rodzi znaczący problem. Surowe wyniki egzaminów nie są porównywalne między kolejnymi edycjami egzaminu. Przed przystąpieniem do analiz efektywności nauczania musimy więc je sprowadzić do porównywalnej postaci.
W pierwszej fazie wyniki każdej edycji egzaminu tak przekształcono, by ich rozkłady maksymalnie zbliżyły się do rozkładu normalnego (normalizacja). W drugim kroku znormalizowane wyniki egzaminacyjne w każdym roku przeliczono na wspólną skalę, tak by średnia krajowa wyniosła 100 punktów, a odchylenie standardowe wyniosło 15 punktów (standaryzacja). Zakładany rozkład wyników egzaminacyjnych po normalizacji i standaryzacji wygląda następująco:
Zwróćmy uwagę, że dzięki standaryzacji wyniki można łatwo interpretować ilościowo. Wiadomo, że 100 to zawsze wynik średni w kraju, 115 to wynik przewyższający przeciętną krajową o jedno odchylenie standardowe, dodatkowo wiemy z własności rozkładu normalnego, że wynik wyższy od 115 uzyskało w kraju około 16% zdających. Zastosowana procedura umożliwia wykorzystywanie w ewaluacji szkół wyników z różnych lat.
Znormalizowana i wystandaryzowana skala wyników uczniowskich służy zarówno do prezentacji wyniku egzaminacyjnego danego gimnazjum, jak i do prezentacji wartości wskaźnika edukacyjnej wartości dodanej. W wypadku EWD skala ma swój środek w punkcie 0. Wynik EWD równy np. 5 pkt, oznacza, że przeciętny uczeń tego gimnazjum otrzymał na egzaminie gimnazjalnym o 5 punktów więcej, niż by to wynikało z jego rezultatu na sprawdzianie po szkole podstawowej.
Od trzylatki 2010-2012 wyniki sprawdzianu i egzaminu gimnazjalnego są skalowane za pomocą nowoczesnej techniki pomiarowej IRT. Pozwala to na bardziej efektywne szacowanie poziomu umiejętności uczniów na podstawie surowych wyników egzaminacyjnych. Ta nowa procedura skalowania nie zmienia interpretacji prezentowanych wyników.
