Strokovnjak: Kako je PISA ustvarila iluzijo kakovosti izobraževanja in jo tržila svetu

Če ste spregledali: najnovejši rezultati iz PISA, programa za mednarodno ocenjevanje študentov, so bili objavljeni v torek, in spet, kot je že od rojstva mednarodnih testov, ameriški študenti niso bili na vrhu lestvice ali celo prišli blizu.

Ameriški rezultati ostajajo stagnirani, odkar se je PISA začela pred skoraj 20 leti – in, tako kot v preteklosti, bodo obravnavani kot obtožnica vsega, kar ljudje želijo obtožiti: šol, učiteljev, študentov, reformatorjev, ki so poskušali spremeniti javne šole. tako da jih vodijo kot podjetja.

PISA vsaka tri leta testira 15-letnike v več desetih državah in posameznih izobraževalnih sistemih iz matematike, branja in naravoslovja; leta 2018 je izpit opravljalo 600.000 študentov iz 79 držav in šolskih sistemov. Rezultati branja in matematike za ameriške študente se od začetka PISA niso bistveno spremenili, z nekaterimi izboljšavami v znanosti. Za leto 2018 so bili rezultati v bistvu enaki kot v letu 2015.

Oglasna zgodba se nadaljuje pod oglasom

Kot sta tukaj zapisala moja kolega iz Post Moriah Balingit in Andrew Van Dam, so se ameriški študenti uvrstili na osmo mesto v branju, na 11. v naravoslovju in na 30. pri matematiki. Prva pri vseh treh predmetih je bila Kitajska, kar za PISA pomeni štiri province Peking, Šanghaj, Jiangsu in Zhejiang (čeprav ima država več kot 20 provinc). Singapur je bil drugi v vseh treh predmetih.

Ameriški študenti še naprej zaostajajo za vrstniki v vzhodni Aziji in Evropi pri branju, matematiki in naravoslovju, kažejo izpiti

Kaj nam torej rezultati PISA v resnici povedo?

Najprej opozorimo, da je leta 2014 več kot 100 akademikov z vsega sveta pozvalo k moratoriju na PISA. Med razlogi: PISA napaja prekomerno zanašanje na standardizirane teste in poudarek na učenju, ki ga je mogoče zlahka izmeriti in ima, kot pravijo nekateri strokovnjaki, velike pomanjkljivosti v načinu izvajanja testov, določanju vzorcev učencev in nekaterih sestavljena so testna vprašanja.

Oglasna zgodba se nadaljuje pod oglasom

Organizacija, ki sponzorira PISA, Organizacijo za ekonomsko sodelovanje in razvoj, in njeni podporniki so zagovarjali test, češ da je to najbolj celovit in zanesljiv pokazatelj na svetu, kaj so učenci sposobni narediti.

Ta objava je kritika PISA s strani strokovnjaka na to temo, Yong Zhaoa, uglednega profesorja fundacije v Šola za izobraževanje na Univerzi v Kansasu. Pred tem je bil profesor na Inštitutu Mitchell za zdravstveno in izobraževalno politiko na Univerzi Victoria v Avstraliji, bil je predsedniški predsednik in direktor Inštituta za globalno in spletno izobraževanje na Visoki šoli za izobraževanje na Univerzi v Oregonu ter bil profesor na Visoki šoli za izobraževanje na državni univerzi Michigan. Na MSU je bil ustanovni direktor Centra za poučevanje in tehnologijo, izvršni direktor Konfucijev inštitut in ameriško-kitajski center za raziskave o izobraževalni odličnosti.

Yongova raziskava se osredotoča na to, kako globalizacija in tehnologija vplivata na izobraževanje, objavil pa je približno 30 knjig in več kot 100 člankov. Njegova zadnja knjiga, pri kateri je bil soavtor, je izšla prejšnji mesec in nosi naslov » Izobraževalna kriza je grozna stvar za zapravljanje: kako lahko korenite spremembe sprožijo navdušenje in uspeh študentov. Yong je v preteklosti pisal za ta blog, vključno z objavo z naslovom: »Obstaja nov poziv za Američane, naj sprejmejo izobraževanje v kitajskem slogu. To je velika napaka.'

Oglasna zgodba se nadaljuje pod oglasom

Yong je to objavo prilagodil iz 1. dela svojega članka »Dve desetletji opustošenja: sinteza kritike proti PISA« pojavi v Journal of Educational Change . On piše:

[T]melj, na katerem je PISA zgradila svoj uspeh, je bil resno izpodbijan. Prvič, ni dokazov, ki bi utemeljili, kaj šele dokazali, trditev, da PISA dejansko meri veščine, ki so bistvene za življenje v sodobnih gospodarstvih. Drugič, trditev je vsiljevanje monolitnega in zahodnocentričnega pogleda na družbe preostalemu svetu. Tretjič, trditev izkrivlja namen izobraževanja.

Tukaj je kos.

Avtor Yong Zhao

PISA je mojstrski čarovnik. Uspešno je ustvaril iluzijo kakovosti izobraževanja in ga tržil svetu. Leta 2018 se je tega čarobnega šova udeležilo 79 držav iz prepričanja, da ta triletni test natančno meri kakovost njihovih izobraževalnih sistemov, učinkovitost učiteljev, sposobnosti učencev in prihodnjo blaginjo njihove družbe.

Čarobna moč PISA v izobraževalnem vesolju izhaja iz njenih drznih trditev in uspešnega trženja. Začne se z dotikom v univerzalno tesnobo glede prihodnosti. Ljudje so seveda zaskrbljeni za prihodnost in imajo močno željo vedeti, ali je jutrišnji dan boljši ali vsaj tako dober kot danes. Starši želijo vedeti, ali bodo njihovi otroci imeli dobro življenje; politiki želijo vedeti, ali imajo njihovi narodi ljudi za izgradnjo uspešnejšega gospodarstva; javnost želi vedeti, ali bodo mladi postali uspešni in sodelujoči člani društva.

Oglasna zgodba se nadaljuje pod oglasom

PISA briljantno izkorišča tesnobo in željo staršev, politikov in javnosti s tremi vprašanji (OECD, 1999, str. 7):

• Kako dobro so mladi odrasli pripravljeni na izzive prihodnosti?
• Ali so sposobni učinkovito analizirati, sklepati in sporočati svoje ideje?
• Ali so sposobni nadaljevati učenje skozi vse življenje?

S temi besedami se začne dokument, ki je leta 1999 predstavil PISA svetu in se od takrat ponavljajo v tako rekoč vseh poročilih PISA. Dokument nato navaja očitno: »Starši, študentje, javnost in tisti, ki vodijo izobraževalne sisteme, morajo vedeti« (OECD, 1999, str. 7). In kot je mogoče pričakovati, se PISA ponuja kot vedeževalka s trditvijo, da:

PISA ocenjuje, v kolikšni meri so 15-letni učenci ob koncu obveznega izobraževanja pridobili ključna znanja in veščine, ki so nujna za polno udeležbo v sodobni družbi. … Ocenjevanje ne samo ugotavlja, ali učenci znajo reproducirati; preučuje tudi, kako dobro lahko učenci ekstrapolirajo iz tega, kar so se naučili, in lahko to znanje uporabijo v neznanih okoljih, tako v šoli kot zunaj nje. Ta pristop odraža dejstvo, da sodobna gospodarstva nagrajujejo posameznike ne za to, kar vedo, ampak za to, kar lahko naredijo s tem, kar vedo. (OECD, 2016, str. 25).

Ta trditev ne ponuja samo PISA kotdoorodje za lajšanje tesnobe, a tudi, kar je morda še pomembneje, ga tudi nareditheorodje za ta namen, ker pomaga izločiti svoje konkurente. Kot mednarodno ocenjevanje izobraževanja je PISA prišla z zamudo. Pred PISA je Mednarodno združenje za vrednotenje izobraževalnih dosežkov (IEA) že od šestdesetih let prejšnjega stoletja izvajalo mednarodno ocenjevanje in ponujalo vplivne programe, kot sta TIMSS in PIRLS. Da bi start-up premagal establišment, mora ponuditi nekaj drugačnega in boljšega. Prav to je obljubila PISA: drugačna in boljša ocena.

Oglasna zgodba se nadaljuje pod oglasom

IEA so se »raziskave osredotočile na rezultate, ki so neposredno povezani s kurikulumom in nato samo s tistimi deli učnega načrta, ki so v bistvu skupni v sodelujočih državah« (OECD, 1999, str. 10) in to je po mnenju PISA problem, ker :

Šolski učni načrti so tradicionalno sestavljeni v veliki meri v smislu informacij in tehnik, ki jih je treba obvladati. V okviru kurikulumskih področij se tradicionalno manj osredotočajo na spretnosti, ki jih je treba razviti na vsakem področju za splošno uporabo v odraslem življenju. Še manj se osredotočajo na splošnejše kompetence, razvite v celotnem učnem načrtu, za reševanje problemov in uporabo svojih idej in razumevanja v situacijah, s katerimi se srečujemo v življenju. (OECD, 1999, str. 10).

PISA premaga omejitve tako, da oceni, »katere veščine se štejejo za bistvene za prihodnje življenje«, ki so lahko zajete v šolskem kurikulumu ali pa tudi ne. Torej trdi. Z drugimi besedami, PISA trdi, da druge mednarodne raziskave merijo, kako dobro so učenci obvladali predvideni šolski kurikulum izobraževalnih sistemov, vendar bi lahko bil šolski kurikulum neusklajen s tem, kar je potrebno za prihodnje življenje.

Da bi bila ponudba še boljša, PISA daje še eno zapeljivo trditev oblikovalcem izobraževalne politike: »OECD/PISA z neposrednim preverjanjem znanja in veščin pred koncem osnovnega šolanja preučuje stopnjo pripravljenosti mladih na odraslo življenje in nekaterim obseg, učinkovitost izobraževalnih sistemov,« (OECD, 1999, str. 11). Če parafraziramo, PISA vam ne pove samo, ali so vaši otroci pripravljeni na prihodnje življenje, ampak vam pove tudi, da imate nadzor nad tem z izboljšanjem »učinkovitosti izobraževanja«. Torej, 'če želimo šole in izobraževalne sisteme spodbujati, da se osredotočajo na sodobne izzive,' je potrebna PISA.

Oglasna zgodba se nadaljuje pod oglasom

Vendar pa je bila trditev, osnova, na kateri je PISA zgradila svoj uspeh, resno izpodbijana. Prvič, ni dokazov, ki bi utemeljili, kaj šele dokazali, trditev, da PISA dejansko meri veščine, ki so bistvene za življenje v sodobnih gospodarstvih. Drugič, trditev je vsiljevanje monolitnega in zahodnocentričnega pogleda na družbe preostalemu svetu. Tretjič, trditev izkrivlja namen izobraževanja.

Izmišljena terjatev

Trditev, da PISA meri znanja in veščine, ki so bistvene za sodobno družbo ali prihodnji svet, ne temelji na nobenih empiričnih dokazih. Profesor Stefan Hopmann z dunajske univerze piše:

Ni na voljo nobene raziskave, ki bi dokazala to trditev, ki presega točko, da je vedeti nekaj vedno dobro in vedeti več je bolje. Niti ni raziskav, ki bi pokazale, da PISA pokriva dovolj, da bi bil reprezentativen za vključene šolske predmete ali splošno zbirko znanja. Predmeti PISA temeljijo na praktičnem sklepanju njenih raziskovalcev in na predhodnih testih, kaj deluje v večini ali vseh okoljih – in ne na sistematičnem raziskovanju sedanjih ali prihodnjih struktur znanja in potreb. (Hopmann, 2008, str. 438).

Z drugimi besedami, trditev je bila le domišljija, iluzija, ki si jo je v celoti izmislila ekipa PISA. Toda PISA nenehno ponavlja svojo trditev, da meri spretnosti, potrebne za prihodnost. Strategija je delovala. PISA je ljudi uspešno prepričala s ponavljanjem.

Oglasna zgodba se nadaljuje pod oglasom

Poleg tega obstajajo empirični dokazi, ki kažejo, kateri ukrepi PISA se bistveno ne razlikujejo od drugih mednarodnih ocen ali testov inteligence. Na primer, kljub trditvi, da meri nekaj drugačnega od študij, kot je TIMSS, je uspešnost na PISA v veliki meri povezana s TIMSS.

Ironično je, da je projekt PISA v podporo svojemu primeru uporabil rezultate drugih študij. PISA je objavila vplivno poročilo, katerega namen je prikazati pomen tega, kar meri za gospodarski razvoj (Hanushek & Woessmann, 2010). Poročilo je navedlo številne osupljive trditve o dolgoročnem gospodarskem učinku izboljšanja rezultatov PISA, vključno z, na primer, »da so vse države OECD v naslednjih 20 letih povečale svoje povprečne rezultate PISA za 25 točk … pomeni skupni dobiček BDP OECD 115 bilijonov USD v času življenja generacije, rojene leta 2010« (Hanushek & Woessmann, 2010, str. 6).

Poročilo so izpodbijali številni znanstveniki (Kamens, 2015; Klees, 2016; Komatsu & Rappleye, 2017; Stromquist, 2016). Ena najbolj uničujočih težav pri sklepanju pomembne povezave med rezultati testov in gospodarsko rastjo je logika, na kateri temelji analiza, ki je bila uporabljena za dosego zaključka. Poročilo je primerjalo rezultate testov v določenem obdobju (1964–2003) z gospodarsko rastjo v približno istem obdobju (1960–2000), kar je logično napačno, ker študenti, ki so opravljali test, takrat niso bili zaposleni. Potreben je čas, da študenti vstopijo v delovno silo in sestavljajo pomemben del delovne sile.

Oglasna zgodba se nadaljuje pod oglasom

»Testne rezultate študentov v katerem koli določenem obdobju je treba primerjati z gospodarsko rastjo v naslednjem obdobju« (Komatsu & Rappleye, 2017, str. 170). Študije, ki so primerjale rezultate testov z gospodarsko rastjo v naslednjih obdobjih z uporabo istega nabora podatkov in metode, niso odkrile »dosledno močne ali močno dosledne« ​​povezave med rezultati testov in gospodarsko rastjo ter »da je razmerje med spremembami rezultatov testov v enem obdobju in spremembami v gospodarska rast za naslednja obdobja je bila v najboljšem primeru nejasna, v najslabšem dvomljiva (Komatsu & Rappleye, 2017, str. 183), kar je v bistvu razveljavilo trditve v poročilu.

Tudi če so bile trditve veljavne, so se poleg PISA zanašale predvsem na rezultate mednarodnih ocen. Medtem ko poročilo navaja, da »uporablja nedavno ekonomsko modeliranje za povezavo kognitivnih veščin – kot jih merijo PISA in drugi mednarodni instrumenti – z gospodarsko rastjo« (Hanushek & Woessmann, 2010, str. 6), je dejstvo, da so rezultati PISA predstavljali zelo majhen del podatkov, uporabljenih pri modeliranju. Do objave poročila so bili na voljo le trije krogi PISA. Poleg tega so ekonomski podatki zajemali obdobje od 1960 do 2000, leto, ko je bil PISA prvič uveden. Vključen je bil samo en krog podatkov PISA, vendar se je poročilo opiralo na „podatke iz mednarodnih testov, podanih v zadnjih 45 letih, da bi razvili enotno primerljivo merilo spretnosti za vsako državo, ki se lahko uporabi za indeksiranje spretnosti posameznikov v delovni sili ” (Hanushek & Woessmann, 2010, str. 14).

Hanushek in drugi (Hanushek, 2013; Hanushek & Woessmann, 2008; Hanushek & Woessmann, 2012) so ponovili podobne trditve o gospodarskem učinku izboljšanja PISA. Ali so sklepi pravilni, je druga stvar. Bistvo je, da je trditev PISA, da meri nekaj drugačnega od drugih mednarodnih ocen, laž. Dejansko meri enako konstrukcijo kot drugi. Trditev, da se bolje meri, kaj je v sodobnem gospodarstvu ali svetu prihodnosti pomembno kot drugi testi, ki so obstajali pred izumom PISA, je le izmišljena iluzija.

Monolitni pogled na izobraževanje

Temeljna trditev PISA je predpostavka, da obstaja niz spretnosti in znanja, ki so univerzalno dragoceni v vseh družbah, ne glede na njihovo zgodovino in prihodnost. „Temeljna predpostavka projekta PISA je, da je resnično mogoče ―meriti kakovost izobraževanja v državi s kazalniki, ki so skupni, torej univerzalni, neodvisni od šolskih sistemov, družbene strukture, tradicije, kulture, naravnih razmer, načinov življenja, načinov proizvodnje itd.' (Sjøberg, 2015, str. 116). Toda ta predpostavka je problematična.

Prva težava je, da je na svetu več družb in da so družbe druga od druge. Zaradi vseh vrst razlogov – kulturnih, političnih, verskih in gospodarskih – različne družbe delujejo različno in predstavljajo različne izzive. Soočanje z različnimi izzivi zahteva različna znanja in veščine. Posledično je »težko domnevati, da bi 15-letniki v npr. ZDA, Japonska, Turčija, Mehika in Norveška se pripravljajo na enake izzive in da potrebujejo enake življenjske spretnosti in kompetence« (Sjøberg, 2015, str. 116).

Drugi in večji problem pri PISA-jevi predpostavki o univerzalnem nizu dragocenih veščin in znanja za vse države je vsiljevanje monolitnega, predvsem zahodnega pogleda na družbe. PISA je bila v prvi vrsti razvita, da bi služila državam članicam OECD, od katerih je večina najrazvitejših gospodarstev na svetu z le nekaj izjemami, kot so Mehika, Čile in Turčija. 35 članic OECD nikakor ne predstavlja celotnega spektra raznolikosti v skoraj 200 državah sveta danes. Predpostavke, ki podpirajo PISA, temeljijo predvsem na gospodarski in izobraževalni realnosti članic OECD. Ni presenetljivo, da sta »okvir PISA in njegov test namenjena razmeroma bogatim in posodobljenim državam OECD. Ko se ta instrument uporablja kot 'benchmark' standard v 30+ državah, ki niso članice OECD, ki sodelujejo v PISA, lahko postane neusklajenost testa PISA s potrebami naroda in njegove mladine še bolj očitna« (Sjøberg, 2015). , str. 116).

Izkrivljen pogled na izobraževanje

Čeprav PISA trdi, da ne ocenjuje po nacionalnih učnih načrtih ali šolskem znanju, so bili njeni rezultati razloženi kot veljavno merilo kakovosti izobraževalnih sistemov. Toda pogled na izobraževanje, ki ga spodbuja PISA, je izkrivljen in izjemno ozek (Berliner, 2011; Sjøberg, 2015; Uljens, 2007). PISA obravnava gospodarsko rast in konkurenčnost kot edini namen izobraževanja. Tako ocenjuje le predmete – branje, matematiko, naravoslovje, finančno pismenost in reševanje problemov –, ki se na splošno štejejo za pomembne za povečanje konkurenčnosti v svetovnem gospodarstvu, ki ga poganjata znanost in tehnologija. PISA kaže malo zanimanja za druge predmete, ki so zasedli učne načrte mnogih držav, kot so humanistika, umetnost in glasba, telesna vzgoja, družboslovje, svetovni jeziki, zgodovina in geografija (Sjøberg, 2015).

Čeprav je priprava otrok na ekonomsko udeležbo zagotovo del odgovornosti izobraževalnih ustanov, pa ne more in ne sme biti edina odgovornost (Labaree, 1997; Sjøberg, 2015; Zhao, 2014, 2016). Namen izobraževanja v mnogih državah vključuje veliko več kot pripravo gospodarskih bitij. Državljanstvo, solidarnost, pravičnost, radovednost in angažiranost, sočutje, empatija, radovednost, kulturne vrednote, fizično in duševno zdravje in mnogi drugi so nekateri izmed pogosto omenjenih namenov v nacionalnih ciljih izobraževanja. Toda ti vidiki namena izobraževanja »so pogosto pozabljeni ali prezrti, ko razprave o kakovosti šole temeljijo na rezultatih in uvrstitvah PISA« (Sjøberg, 2015, str. 113).

Izkrivljena in ozka opredelitev namena izobraževanja je eden od glavnih razlogov za nekatera nenavadna in na videz presenetljiva odkritja, povezana s PISA. Obstaja vztrajen vzorec negativne korelacije med rezultati PISA ter zanimanjem in odnosom učencev. Številni raziskovalci so ugotovili, da imajo države z višjim številom točk PISA študente z nižjim zanimanjem in manj pozitivnim odnosom do testiranega predmeta (Bybee & McCrae, 2011; Zhao, 2012, 2014, 2016). Na primer, rezultat na področju znanosti PISA ima pomembno negativno korelacijo s prihodnjo naravoslovno usmerjenostjo in prihodnjimi znanstvenimi delovnimi mesti (Kjærnsli & Lie, 2011). Ugotovljeno je bilo tudi, da so visoki rezultati PISA povezani z nižjim podjetniškim zaupanjem in zmožnostmi (Campbell, 2013; Zhao, 2012). Poleg tega se zdi, da so izobraževalni sistemi z visokim številom točk PISA bolj avtoritarno usmerjeni (Shirley, 2017; Zhao, 2014, 2016). Poleg tega je bilo ugotovljeno, da imajo rezultati PISA negativno korelacijo z blaginjo študentov (Shirley, 2017; Zhao, 2014, 2016), ugotovitev, ki jo je PISA končno odkrito priznala v poročilu za leto 2017 (OECD, 2017). Te ugotovitve v bistvu kažejo, da PISA meri le zelo ozek vidik izobraževanja in zanemarja pozornost širšim odgovornostim izobraževalnih sistemov. Poleg tega je zasledovanje ozko opredeljenega namena izobraževanja lahko za ceno širšega namena izobraževanja (Zhao, 2017, 2018). »Zelo je malo stvari, ki jih lahko povzamete s številkami, a kljub temu Pisa trdi, da lahko zajame celoten izobraževalni sistem države v samo treh od njih. Ne more biti mogoče. To je norost« (Morrison, 2013).

Če povzamemo, PISA se je uspešno tržila kot merilo kakovosti izobraževanja s trditvijo, da meri spretnosti in znanja, ki so pomembna v sodobnih gospodarstvih in v svetu prihodnosti. Po natančnejšem pregledu je odličnost, ki jo definira PISA, le iluzija, izmišljena trditev brez empiričnih dokazov. Poleg tega PISA pomeni monolitno in zagovarja izkrivljen in ozek pogled na namen vseh izobraževalnih sistemov na svetu. Posledica je trend globalne homogenizacije izobraževanja in proslavljanja avtoritarnih izobraževalnih sistemov zaradi njihovih visokih rezultatov PISA, ob zanemarjanju negativnih posledic na pomembne človeške lastnosti in lokalne kulture tovrstnih sistemov.

Reference

Berliner, D. C. (2011). Kontekst za razlago rezultatov PISA v ZDA: negativizem, šovinizem, nerazumevanje in možnost izkrivljanja izobraževalnih sistemov narodov. V M. A. Pereyra, H.-G. Kotthoff in R. Cowen (ur.),Pisa na pregledu(str. 77-96). New York: Springer.

Bybee, R., & McCrae, B. (2011). Znanstvena pismenost in stališča študentov: pogledi iz znanosti PISA 2006.International Journal of Science Education, 33(1), 7-26.

Campbell, M. (2013, 5. januar). Razvrstitve zahodne in azijske izobraževanja so zavajajoče: zahodne šolarje redno prekašajo njihovi azijski vrstniki, a skrb za to je nesmiselna.Novi znanstvenik (2898). Pridobljeno iz https://www.newscientist.com/article/mg21728985-800-west-vs-asia-education-rankings-are-misleading/

Hanušek, E. A. (2013). Gospodarska rast v državah v razvoju: vloga človeškega kapitala.Pregled ekonomije izobraževanja, 37, 204-212.

Hanushek, E. A., & Woessmann, L. (2008). Vloga kognitivnih veščin v gospodarskem razvoju.Časopis za ekonomsko literaturo, 46(607-668).

Hanushek, E. A., & Woessmann, L. (2010).Visoki stroški nizke izobraževalne uspešnosti: dolgoročni gospodarski učinek izboljšanja rezultatov PISA. Pridobljeno iz Pariza: http://books.google.com/books?id=k7AGPo0NvfYC&pg=PA33&lpg=PA33&dq=hanushek+pisa+gdp&source=bl&ots=2gCfzF-f1_&sig=wwe0XLL5EblVWK9e7RJfb5MyhIU&hl=en&sa=X&ei=MLPCUqaOD8-JogS6v4C4Bw&ved=0CGcQ6AEwBjgK - v = onepage & q = hanushek% 20pisa%20gdp&f=false

Hanushek, E. A., & Woessmann, L. (2012). Ali boljše šole vodijo k večji rasti? Kognitivne veščine, ekonomski rezultati in vzročna zveza.Časopis za gospodarsko rast, 17(4), 267-321.

Hopmann, S.T. (2008). Noben otrok, nobena šola, nobena država ne ostane za sabo: šolanje v dobi odgovornosti.Journal of Curriculum Studies, 40(4), 417-456.

Kamens, D. H. (2015). Dozorevanje globalnega režima testiranja ustreza svetovnemu gospodarstvu: rezultati testov in gospodarska rast, 1960–2012.Primerjalni izobraževalni pregled, 59(3), 420-446.

Kjærnsli, M., & Lie, S. (2011). Prednost študentov za naravoslovne kariere: mednarodne primerjave na podlagi PISA 2006.International Journal of Science Education, 33(1), 121-144.

Klees, S. J. (2016). Človeški kapital in stopnje donosa: briljantne ideje ali ideološke slepe ulice?Primerjalni izobraževalni pregled, 60(4), 644-672.

Komatsu, H., & Rappleye, J. (2017). Nov režim globalne politike, ki temelji na neveljavnih statistikah? Hanushek, Woessmann, PISA in gospodarska rast.Primerjalno izobraževanje, 53(2), 166-191.

Labaree, D. (1997). Javne dobrine, zasebne dobrine: ameriški boj za izobraževalne cilje.American Educational Research Journal, 34(1), 39-81.

Morrison, H. (2013, 1. december). Pisa 2012 je bila razkrita velika napaka. Pridobljeno iz https://paceni.wordpress.com/2013/12/01/pisa-2012-major-flaw-exposed/

OECD. (1999).Merjenje znanja in spretnosti študentov: nov okvir za ocenjevanje. Pridobljeno iz Pariza: http://www.oecd.org/education/school/programmeforinternationalstudentassessmentpisa/33693997.pdf

OECD. (2016).Rezultati PISA 2015 (Zvezek I): odličnost in pravičnost v izobraževanju. Pridobljeno iz Pariza: http://dx.doi.org/10.1787/9789264266490-en

OECD. (2017).Rezultati PISA 2015: Dobro počutje učencev. Pridobljeno iz Pariza: http://www.keepeek.com/Digital-Asset-Management/oecd/education/pisa-2015-results-volume-iii_9789264273856-en - .Wk1WGrQ-fOQ # page1

Shirley, D. (2017).Novi imperativi sprememb v izobraževanju: dosežki z integriteto. New York: Routledge.

Sjøberg, S. (2015). PISA in globalno izobraževalno upravljanje – kritika projekta, njegove uporabe in posledic.Eurasia Journal of Mathematics, Science & Technology Education, 11(1), 111-127.

Stromquist, N. P. (2016). Uporaba regresijske analize za napovedovanje gospodarske rasti držav: iluzija in dejstvo v izobraževalni politiki.Real-World Economics Review, 76, 65-74.

Uljens, M. (2007). Skriti kurikulum PISA: Spodbujanje neoliberalne politike z izobraževalno oceno. V S. T. Hopmann, Gertrude Brinek in M. Retzl (ur.),PISA zufolge PISA - PISA Po PISA(str. 295-303). Berlin: Lit Verlag.

Zhao, Y. (2012).Učenci svetovnega razreda: izobraževanje kreativnih in podjetnih študentov. Thousand Oaks, CA: Corwin.

Zhao, Y. (2014).Kdo se boji velikega slabega zmaja: Zakaj ima Kitajska najboljši (in najslabši) izobraževalni sistem na svetu. San Francisco: Jossey-Bass.

Zhao, Y. (2016). Kdo se boji PISA: zmota mednarodnih ocen uspešnosti sistema. V A. Harris & M.S. Jones (ur.),Vodilne prihodnosti(str. 7-21). Thousand Oaks, CA: Sage.

Zhao, Y. (2017). Kaj deluje lahko škodi: stranski učinki v izobraževanju.Časopis za spremembe v izobraževanju, 18(1), 1-19.

Zhao, Y. (2018).Kaj deluje lahko škodi: stranski učinki v izobraževanju. New York: Teachers College Press.