Jak obliczano wskaźniki?
Wyniki egzaminacyjne uczniów zależą od wielu czynników niezależnych od szkoły, przede wszystkim od uprzednich osiągnięć uczniów. Jeżeli tak, to końcowe wyniki egzaminacyjne mogą być w wielu wypadkach wysoce zawodnymi wskaźnikami tego, czy dana szkoła dobrze naucza. Znacznie lepszym wskaźnikiem efektywności nauczania są miary postępu poczynionego przez uczniów podczas nauki w danej szkole. Postęp ten w sposób poprawny statystycznie pozwala wyznaczać metoda edukacyjnej wartości dodanej. Metoda EWD to zestaw technik statystycznych pozwalających zmierzyć wkład szkoły w wyniki nauczania. By można ją zastosować, potrzebujemy wyników przynajmniej dwóch pomiarów osiągnięć szkolnych: na początku nauki w danej szkole i na jej zakończenie.
W modelu szacowania wskaźników EWD dla szkoły uwzględniamy informacje o wynikach egzaminacyjnych oraz dodatkowo o płci ucznia oraz dysleksji. Model ideowy szacowania wskaźników EWD dla szkół maturalnych na przykładzie LO można przedstawić następująco.
Schemat 1. Ideowy model szacowania EWD dla LO
Model dla techników wygląda analogicznie.
Polski system egzaminacyjny dostarcza danych do wyliczania EWD dla gimnazjów (sprawdzian w klasie VI szkoły podstawowej jako miara na wejściu, egzamin gimnazjalny jako miara na wyjściu) oraz szkół maturalnych (egzamin gimnazjalny jako miara na wejściu, egzamin maturalny jako miara na wyjściu).
Wskaźnik EWD dla liceum ogólnokształcącego mówi o tym, na ile wysokie/niskie wyniki matury uzyskali jego absolwenci w porównaniu do uczniów o analogicznych wynikach na egzaminie gimnazjalnym. Podobnie wskaźnik EWD dla technikum pokazuje, na ile wysokie/niskie wyniki matury uzyskali jego absolwenci w porównaniu do uczniów techników w Polsce przy statystycznej kontroli wyników na egzaminie gimnazjalnym. Wskaźniki EWD mają charakter względny i nie informują o bezwzględnych postępach w nauce. Służą do porównywania szkół. W skali kraju wskaźnik EWD ma z definicji wartość równą zeru. Wartość dodatnia EWD wskazuje na ponadprzeciętną w skali kraju efektywność nauczania, wartość ujemna na niższą niż przeciętna efektywność.
Najczęściej stosowaną syntetyczną miarą opisującą wyniki nauczania jest średnia arytmetyczna rezultatów egzaminacyjnych. Wartość przeciętna jako wskaźnik wyników nauczania ma swoje zalety, ale też i poważne wady. Zaletą jest możliwość opisania wyników nauczania w danej szkole za pomocą jednej liczby. Wadą natomiast jest znaczna utrata informacji oraz duża niepewność wnioskowania wynikająca z różnego kształtu rozkładu wyników egzaminu w poszczególnych szkołach. Przykładowo, jeżeli wszyscy uczniowie w danej szkole uzyskali wyniki bliskie średniej arytmetycznej, to przeciętna wartość jest dobrą miarą wyników nauczania. Jeżeli natomiast większość uczniów w danej szkole uzyskuje wyniki znacznie wyższe lub niższe od średniej (duże zróżnicowanie wyników) lub rozkład jest niesymetryczny, to średnia jest bardzo niedoskonałym wskaźnikiem wyników nauczania. Mimo słabości średniego wyniku egzaminacyjnego jako miary wyników nauczania, w naszej prezentacji jest używana ze wzglądu na jej syntetyczny charakter. Ponieważ na jednym wykresie prezentowana jest zarówno miara wyników nauczania, jak i efektywności nauczania (EWD), to właśnie ta własność średniej decyduje o jej użyciu. W celu pogłębienia analiz wyników nauczania na potrzeby ewaluacji wewnątrzszkolnej należy użyć innych narzędzi statystycznych, np. rozkładu wyników surowych w skali staninowej.
Należy podkreślić, że wskaźniki egzaminacyjne, zarówno wyniku końcowego jak i EWD, są szacowane oddzielnie dla populacji liceów ogólnokształcących i techników. Oznacza to, że wskaźniki dla liceów i techników nie są porównywalne.
Jakie dane wykorzystywane są do szacowania wskaźników?
Do wyliczenia prezentowanych ewaluacyjnych wskaźników egzaminacyjnych wykorzystywane są dane egzaminacyjne dla trzech roczników maturzystów: 2010-2012. Wieloletnie wskaźniki egzaminacyjne są mniej narażone są na losowe wahania niż jednoroczne i dzięki temu są bardziej rzetelną miarą wyników i efektywności nauczania poszczególnych szkół.
Dla każdej szkoły obliczane są ewaluacyjne wskaźniki egzaminacyjne dla czterech obszarów nauczania. Pierwszy, humanistyczny, obejmuje język polski, historię i wiedzę o społeczeństwie. Drugi obszar obejmuje wyniki egzaminu z języka polskiego. Trzeci zakres treściowy, matematyczno-przyrodniczy, obejmuje matematykę, informatykę, fizykę, chemię, biologię i geografię. Czwarty obszar to wydzielona do osobnego wskaźnika matematyka. W szacowaniu wskaźników egzaminacyjnych wykorzystuje się informację o wykonaniu zadań egzaminacyjnych zarówno na poziomie podstawowym jak i rozszerzonym.
Osiągnięcia uczniów na progu liceum lub technikum określane są na podstawie danych z egzaminu gimnazjalnego w wersji standardowej dla zdających w terminie głównym – kwietniowym. Przy obliczaniu wskaźników maturalnych EWD w zakresie przedmiotów humanistycznych wykorzystywane są dane z części humanistycznej egzaminu gimnazjalnego, a przy obliczaniu wskaźników EWD w zakresie przedmiotów matematyczno-przyrodniczych wykorzystywane są informacje z analogicznej części egzaminu gimnazjalnego.
Podsumowaniem modelu szacowania wskaźników EWD jest poniższy schemat.
Schemat 2. Struktura ewaluacyjnych wskaźników egzaminacyjnych
Zarówno średni wynik egzaminu maturalnego jak i EWD w danym obszarze przedstawiany jest na znormalizowanej dla kraju – oddzielnie dla LO i techników – skali standardowej o średniej 100 i odchyleniu 15. Opis tej skali znajduje się w dalszej części informacji.
Na jakiej skali prezentowane są wyniki?
Do szacowania ewaluacyjnych wskaźników egzaminacyjnych wykorzystywane są informacje o poziomie wykonania przez maturzystę wszystkich rozwiązywanych przez niego zadań w obrębie danego obszaru nauczania dla obu poziomów egzaminu. Gdy na przykład maturzysta zdawał w obszarze matematyczno-przyrodniczym tylko maturę z matematyki na poziomie podstawowym, poziom jego umiejętności w tym obszarze szacujemy tylko na podstawie dość wąskiej bazy informacji, mianowicie danych, jak poradził sobie z zadaniami z matematyki na poziomie podstawowym. Gdy podchodził też do poziomu rozszerzonego, uwzględniamy dodatkowo informacje, jak poradził sobie z zadaniami na tym poziomie. Gdy zdawał też egzaminy z innych przedmiotów w tym obszarze, uwzględniamy jeszcze więcej informacji. Dzięki nowoczesnym metodom skalowania wyników testowania (tzw. metody IRT i model selekcji) możemy oszacować na jednej skali poziom umiejętności uczniów, mimo że nie rozwiązywali tego samego zestawu zadań. Przy tym sposobie skalowania wynik uzyskany przez maturzystę nie zależy od liczby wykonywanych zadań, tylko od tego, jak poradził sobie z zadaniami o różnej trudności, które rozwiązywał podczas maturalnych zmagań.
Dzięki własnościom zastosowanych metod skalowania IRT uzyskane oszacowania poziomu umiejętności maturzystów są najlepszym dającym się uzyskać z danych egzaminacyjnych wyliczeniem wskaźników wyników nauczania. Stosowanie tych wskaźników dla indywidualnej oceny osiągnięć maturzystów byłoby problematyczne, jednak dla ewaluacji wyników nauczania są to wskaźniki najlepiej wykorzystujące dane egzaminacyjne.
Uzyskane dla każdego z czterech wyróżnionych obszarów nauczania wskaźniki poziomu umiejętności maturzystów są przeliczane na skalę standaryzowaną o średniej krajowej 100 i odchyleniu standardowym 15. Procedura standaryzacji przeprowadzana jest oddzielnie dla uczniów liceów ogólnokształcących i techników w każdym z czterech opisywanych wskaźnikami obszarów nauczania.
Poniższy wykres przedstawia zakładany procentowy rozkład wyników.
Dzięki własnościom rozkładu normalnego wynik przedstawiony na standaryzowanej skali ma ustaloną interpretację ilościową, czyli można powiedzieć, jak dany wynik wygląda na tle populacji odniesienia. Na wykresie przedstawiono wartości procentowe dla wybranych punktów skali. I tak wynik 130 oznacza, że tylko trochę ponad 2% zdających w danej populacji uzyskało wynik wyższy, natomiast rezultat 85 wskazuje, że blisko 16% uzyskało wynik niższy.
Wyskalowane wyniki maturalne służą zarówno do prezentacji średniego rezultatu maturalnego dla danego liceum ogólnokształcącego lub technikum, jak i do prezentacji wartości wskaźnika edukacyjnej wartości dodanej. W wypadku wskaźnika EWD skala ma swój środek w punkcie 0. Na przykład wynik EWD szkoły równy 5 pkt oznacza, że wynik w danym obszarze nauczania przeciętnego ucznia tej szkoły na maturze był o 5 punktów wyższy(w skali standardowej, czyli o 1/3 odchylenia standardowego wyższy), niż by to wynikało z jego rezultatu na egzaminie gimnazjalnym.
Dlaczego należy uwzględniać zarówno wynik maturalny jak i wskaźnik EWD?
Średni wynik egzaminacyjny i EWD, czyli wskaźnik efektywności nauczania, to miary komplementarne. Łącznie dają pełniejszą informację o szkole, niż każdy z nich z osobna. Konsekwencją tego, że uwzględniamy zarówno wynik maturalny jak i wskaźnik EWD, jest prezentacja wyniku szkoły w dwuwymiarowym układzie współrzędnych. Ze względu na niepewność statystyczną szacowania wskaźników położenie szkoły przedstawiane jest za pomocą elipsy. Wielkość elipsy graficznie przedstawia stopień tej niepewności. Im więcej wyników egzaminacyjnych uwzględnia się w obliczeniach, tym mniejsza niepewność i mniejsza tym samym elipsa.
Opis położenia szkoły (elipsy) w układzie współrzędnych (wynik egzaminu, EWD) może ułatwić wyróżnienie kilku punktów odniesienia.
- Szkoły neutralne. Licea ogólnokształcące lub technika, w których notujemy zarówno średni w skali kraju poziom wyników maturalnych, jak i przeciętną efektywność.
- Szkoły o wysokich wynikach maturalnych i wysokiej efektywności mierzonej EWD (prawa górna ćwiartka).
- Szkoły o wysokich wynikach maturalnych i niskiej efektywności mierzonej EWD (prawa dolna ćwiartka).
- Szkoły o niskich wynikach maturalnych i wysokiej efektywności mierzonej EWD (lewa górna ćwiartka).
- Szkoły o niskich wynikach maturalnych i niskiej efektywności mierzonej EWD (lewa dolna ćwiartka).
Oprócz typów głównych można zaobserwować również typy pośrednie: szkoły o przeciętnych wynikach i niskiej/wysokiej EWD oraz szkoły o przeciętnej efektywności (EWD) i niskich/wysokich wynikach maturalnych. W tych przypadkach elipsy szkół leżą na osi pionowej lub poziomej, odpowiednio.
Powyższe punkty odniesienia mają pomóc w interpretacji położenia szkoły w układzie współrzędnych, a nie w kategoryzacji szkół.
