Dlaczego w ewaluacji szkoły należy uwzględniać zarówno wynik egzaminacyjny jak i wskaźnik EWD?
Wynik egzaminacyjny i wskaźnik EWD to miary komplementarne, łącznie dają pełniejszą informację o szkole. Konsekwencją tego, że uwzględniamy zarówno wynik egzaminacyjny jak i wskaźnik EWD jest sposób pokazywania wyniku szkoły – pozycja szkoły prezentowana jest w układzie współrzędnych. Oś pozioma oznacza średni trzyletni wynik egzaminacyjny szkoły, a oś pionowa symbolizuje trzyletnią EWD szkoły.
By uwzględnić statystyczną niepewność szacowania wskaźników pozycja szkoły prezentowana jest nie jako punkt, a jako obszar w kształcie elipsy. Jak już wspominaliśmy wyniki wszelkich pomiarów, też testów egzaminacyjnych, cechuje niepewność pomiarowa. Lokując gimnazjum na wykresie należy wziąć to pod uwagę. Robimy to wyznaczając dla każdego gimnazjum obszar, w którym z 95% pewnością znajduje się gimnazjum ze względu na dwa interesujące nas wskaźniki: wynik egzaminu i EWD. Rezygnacja z dokładnego (tzw. punktowego) szacowania interesujących nas wartości nie jest wynikiem asekuranctwa, czy „statystycznej bojaźliwości”, jest normalną procedurą statystyczną stosowaną wszędzie tam, gdzie na podstawie wartości szacunkowych musimy formułować odpowiedzialne oceny. Wielkość elipsy, czyli niepewność szacowania wskaźników dla szkoły, zależy przede wszystkim od liczby informacji. Im większą liczbą wyników egzaminacyjnych dysponujemy, tym mniejsza niepewność i mniejsza elipsa.
Opis położenia elipsy (szkoły) w układzie współrzędnych (wynik egzaminu, EWD) może ułatwić wyróżnienie pięciu punktów odniesienia.
- Szkoły neutralne. Gimnazja, w których notujemy zarówno średni w skali kraju poziom wyników egzaminacyjnych, jak i przeciętną efektywność.
- Szkoły sukcesu. Gimnazja o wysokich wynikach egzaminacyjnych i wysokiej efektywności nauczania.
- Szkoły wspierające. Gimnazja o niskich wynikach egzaminacyjnych, ale wysokiej efektywności.
- Szkoły wymagające pomocy. Gimnazja o niskich wynikach egzaminacyjnych i niskiej efektywności nauczania.
- Szkoły niewykorzystanych możliwości. Gimnazja o wysokich wynikach egzaminacyjnych oraz niskiej efektywności nauczania.
Powyższe punkty odniesienia opatrzone umownymi nazwami mają pomóc w interpretacji, a nie kategoryzacji szkół. Oprócz typów głównych można zaobserwować również typy pośrednie: szkoły o przeciętnych wynikach i niskiej/wysokiej EWD oraz szkoły o przeciętnej efektywności (EWD) i niskich/wysokich wynikach egzaminacyjnych. w tych przypadkach elipsy szkół leżą na osi pionowej lub poziomej, odpowiednio.
Jak odczytywać wykresy?
By ułatwić statystyczną interpretację pozycji gimnazjum, w układzie współrzędnych wyrysowano dwie elipsy. Mniejsza z nich, ciemnoszara, wskazuje obszar, w którym mieści się 50% gimnazjów. Druga elipsa, jasno szara, wyznacza obszar, w którym mieści się 90% gimnazjów. Środkiem symetrii tych elips jest punkt (100;0).
Przykład 1.
Gimnazjum A. Część matematyczno-przyrodnicza
Pozycja zielonej elipsy na wykresie wskazuje, że mamy do czynienia ze szkołą neutralną (część matematyczno-przyrodnicza egzaminu). Tak będziemy nazywać gimnazja, których pozycja w układzie współrzędnych bliska jest punktowi (100;0). Jeżeli obszar ufności (zielona elipsa) zawiera punkt (100;0), mamy do czynienia z tego typu szkołą. Szkoła neutralna, to placówka statystycznie przeciętna. Chcąc jednak uniknąć określeń „przeciętna, średnia”, proponujemy dla szkół o średniej wyników egzaminacyjnych zbliżonej do średniej krajowej i wskaźniku EWD bliskiemu zero nazwę „szkoła neutralna”. Szkoły neutralne, to najliczniejsza kategoria gimnazjów. Dzieje się tak dlatego, że zarówno wynik egzaminacyjny, jak i wskaźnik EWD najczęściej przyjmuje wartości bliskie lub niezbyt odległe od średniej.
Przykład 2.
Gimnazjum B i C. Część matematyczno-przyrodnicza
Co różni Gimnazjum B i C? Wyniki końcowe. Średnie dla tych gimnazjów są na wymiarze wyniku egzaminacyjnego oddalone o około 10 punktów (2/3 odchylenia standardowego). Co natomiast je łączy? Ponadprzeciętna efektywność nauczania mierzona wskaźnikiem EWD. Możemy tak powiedzieć, bo obszary ufności dla obu szkół znajdują się ponad linią poziomą oznaczającą zerową wartość EWD (oś pozioma). Dotychczasowe sposoby analizowania wyników egzaminacyjnych ulokowałyby te szkoły w odległych staninach i nie przyszłoby nam do głowy, że te placówki coś może łączyć. Wprowadzenie wymiaru EWD pozwoliło dojrzeć coś, co było przed okiem obserwatora nieuzbrojonego w odpowiednie instrumenty statystyczne ukryte.
Na koniec pragniemy przestrzec użytkowników naszej strony, że dla niektórych gimnazjów mogą pojawić się następujące komunikaty:
| Pojawia się wykres, pod wykresem komentarz | W połączonej bazie wyników egzaminu gimnazjalnego i sprawdzianu po szkole podstawowej brakuje ponad 10% danych. Może to być wynikiem problemów z połączeniem wyników gimnazjalnych ze sprawdzianem. w związku z tym wyznaczenie pozycji szkoły na wykresie może być mniej precyzyjne. |
| Pojawia się wykres, pod wykresem komentarz | W połączonej bazie wyników egzaminu gimnazjalnego i sprawdzianu po szkole podstawowej dysponujemy tylko wynikami dla 2 lat. w związku z tym wyznaczenie pozycji szkoły na wykresie może być mniej precyzyjne. |
| Brak wykresu, pojawia się tylko komentarz | W połączonej bazie wyników egzaminu gimnazjalnego i sprawdzianu po szkole podstawowej brak danych dla tego gimnazjum. |
| Brak wykresu, pojawia się tylko komentarz | W połączonej bazie wyników egzaminu gimnazjalnego i sprawdzianu po szkole podstawowej dla analizowanego okresu dla tego gimnazjum dysponujemy mniej niż 30 wynikami. |
| Brak wykresu, pojawia się tylko komentarz | W połączonej bazie wyników egzaminu gimnazjalnego i sprawdzianu po szkole podstawowej brak danych dla tego gimnazjum dla ostatniego roku. |
