Wielki wybuch za kilka dolców: wpływ podręczników do matematyki w Kalifornii

Podsumowanie wykonawcze





Podręczniki są jednym z najczęściej stosowanych środków edukacyjnych, ale niezwykle mało wiadomo o ich wpływie na uczenie się uczniów. W niniejszym raporcie wykorzystano dane zebrane ze szkół podstawowych w Kalifornii, aby oszacować wpływ wyboru podręczników do matematyki na osiągnięcia uczniów. Badamy cztery najpopularniejsze książki w stanie z lat 2008-2013 i znajdujemy tę – Houghton Mifflin Matematyka kalifornijska —konsekwentnie przewyższa pozostałe trzy. Doskonała wydajność Matematyka kalifornijska utrzymuje się do czterech lat po adopcji i pojawia się w klasach 3, 4 i 5.



Zidentyfikowane przez nas wpływy podręczników mają znaczenie edukacyjne i są dostępne przy niezwykle niskich kosztach. Jeśli chodzi o koszty, podręczniki są stosunkowo niedrogie i zazwyczaj mają podobną cenę. Wynika z tego, że krańcowy koszt wyboru bardziej efektywnego podręcznika w porównaniu z mniej efektywną alternatywą jest zasadniczo zerowy. Jeśli chodzi o wpływ osiągnięć, nasze ustalenia sugerują, że nietrywialne korzyści w osiągnięciach uczniów można osiągnąć po prostu poprzez wybór bardziej efektywnych materiałów programowych. Rozmiary efektów, które dokumentujemy, są na równi z tym, czego można oczekiwać od hipotetycznej polityki, która znacznie podnosi jakość kadry nauczycielskiej. Jednak podczas gdy istnieje duża niepewność co do tego, czy można osiągnąć proporcjonalny wzrost jakości nauczycieli i jak można je osiągnąć – przynajmniej w najbliższej perspektywie – wybór bardziej efektywnego podręcznika jest pozornie prostą opcją polityczną podnoszenia osiągnięć uczniów.



Krytycznym czynnikiem ograniczającym zdolność administratorów szkół do wybierania bardziej efektywnych podręczników jest to, że praktycznie nie ma dowodów na to, jak różne podręczniki wpływają na osiągnięcia uczniów. Podstawowym problemem ograniczającym rozwój bazy dowodowej jest to, że bardzo niewiele stanów śledzi adopcje podręczników szkolnych i okręgowych. Ten punkt należy powtórzyć: większość stanów nie wie, jakie materiały programowe są używane w jakich szkołach i okręgach. Bez tych danych nie jest możliwe przeprowadzenie oceny skuteczności podręczników. Tak więc w większości stanów decydenci, którzy chcą uwzględnić w swoich decyzjach adopcyjnych dowody na to, jak podręczniki wpływają na osiągnięcia uczniów, po prostu nie mają szczęścia.



Nasze badanie uzupełnia niewielką liczbę badań pokazujących, że podręczniki znacznie różnią się pod względem skuteczności. Jest to przykład rodzaju analizy, którą można by przeprowadzać znacznie szerzej w innych państwach i z biegiem czasu, gdyby tylko rutynowo zbierano dane dotyczące adopcji podręczników. Łącząc dowody z wielu podobnych badań, moglibyśmy zbudować bazę dowodową dla wielu zestawów materiałów w różnych kontekstach i przeprowadzić analizy w celu określenia, jakie cechy materiałów programowych mają znaczenie dla promowania osiągnięć uczniów. Kończymy sugestiami dla urzędników okręgowych i decydentów stanowych, aby zebrać i udostępnić dane dotyczące przyjęcia podręczników. Zalecane wysiłki w zakresie gromadzenia danych wiązałyby się ze stosunkowo niewielkim obciążeniem i prowadziłyby do znacznie lepszych dowodów do podejmowania decyzji szkoły i okręgu w odniesieniu do ważnego i powszechnie stosowanego wkładu szkolnego.




Nieco ponad cztery lata temu Russ Whitehurst i Matt Chingos wystosowali dobrze wyartykułowane wezwanie do szerszych badań nad materiałami programowymi i ich efektami. [i] Argument przemawiający za tym kierunkiem pracy jest bardzo prosty (uwaga: to jest nasza wersja argumentu, a nie ich):



  1. Praktycznie każda szkoła w kraju nadal przyjmuje podręczniki do podstawowych przedmiotów (czy to tradycyjnych, czy cyfrowych), a duża większość nauczycieli używa ich w ramach codziennych zajęć.
  2. Istniejące badania pokazują, że podręczniki różnią się pod względem wpływu na osiągnięcia uczniów w znaczący sposób, a dobrze zaprojektowane badania wykazują efekty w zakresie odchylenia standardowego od 0,1 do 0,2. [ii]
  3. Podręczniki nie są kosztowną interwencją. Zazwyczaj są one również wyceniane bardzo podobnie, więc marginalny koszt wyboru jednego podręcznika nad drugim jest niewielki. W związku z tym potencjalny zwrot z inwestycji związanych z przyjęciem bardziej efektywnych podręczników jest dość duży w porównaniu z innymi rodzajami interwencji. [iii]
  4. Materiały programowe są o wiele łatwiejszą politycznie reformą niż wiele innych potencjalnych reform politycznych, takich jak polityka nauczycieli i polityka wyboru szkoły.

Chingos i Whitehurst zalecają, aby stany pracowały nad zbudowaniem infrastruktury danych do śledzenia adopcji podręczników przez szkoły i okręgi, która może być wykorzystana między innymi do zbadania wpływu różnych materiałów na wyniki uczniów.

Chociaż ich argumenty są przekonujące, postęp jest niewielki. W czasie ich pisania znane były tylko dwa stany, które śledziły adopcje podręczników, Floryda i Indiana. Do badania skuteczności podstawowych programów nauczania matematyki wykorzystano dane z obu stanów. [iv] Podczas gdy kilka innych stanów zaczęło zbierać dane [v] lub dane zostały odkryte na widoku [my] ponieważ dzisiaj większość stanów nie śledzi, które materiały programowe są używane przez które szkoły i okręgi. Wydawcy również niechętnie udostępniają te dane (choć możemy tylko założyć, że wiedzą, które okręgi kupują ich materiały), ponieważ można by je wykorzystać do przeprowadzenia porównawczych badań skuteczności tego rodzaju, o których tu piszemy.



W odpowiedzi na wezwanie Whitehurst i Chingos do dalszych badań nad skutecznością podręczników, niedawno podjęliśmy projekt [idziesz] wykorzystanie danych z Kalifornii do zbadania wpływu podręczników na osiągnięcia uczniów. Na dane z podręczników kalifornijskich natknęliśmy się przypadkiem. Ze względu na ugodę sądową z 2004 r. i późniejsze ustawodawstwo, wymagane jest, aby podręcznik z każdego z przedmiotów podstawowych był zgłaszany przez poszczególne szkoły. Dane są przechowywane w kartach raportów odpowiedzialności szkolnej (SARC) w postaci plików PDF dostępnych online w Kalifornijskim Departamencie Edukacji (CDE). Mamy nadzieję, że jest to pierwsze z wielu badań wykorzystujących te nowo odkryte dane oraz inne dane, które są w trakcie zbierania. Celem jest rozpoczęcie gromadzenia większego zestawu dowodów na temat skuteczności podręczników, czerpiąc z wielu stanów i na przestrzeni czasu.



W tym skrócie przedstawiamy dowody z pierwszego z naszych podręcznikowych badań skuteczności w Kalifornii. W szczególności przedstawiamy dowody na temat skutków decyzji o przyjęciu podręczników podjętych podczas cyklu adopcji w 2008 r. w matematyce elementarnej. Ten brief jest oparty na pełnym dokumencie roboczym, który można pobrać tutaj. [viii] Aby przejrzeć nasze ustalenia, stwierdzamy, że jedna z czterech najczęściej przyjmowanych książek, Houghton Mifflin Matematyka kalifornijska , jest bardziej skuteczny niż pozostałe trzy popularne książki używane w stanie. Efekty utrzymują się przez cztery lata po adopcji i wahają się od około 0,05 do 0,10 odchylenia standardowego osiągnięć uczniów. Różnorodne ćwiczenia falsyfikacyjne przekonują nas, że te efekty są przyczynowe.

Poniżej opisujemy dane dotyczące przyjęcia podręczników w Kalifornii, przedstawiamy nasze metody analityczne, a następnie podsumowujemy nasze wyniki. Kończymy z implikacjami dla polityki i przyszłych badań nad skutkami podręczników.



Dane

Dane, które wykorzystujemy na temat adopcji podręczników, są zbierane w wyniku sprawy sądowej z 2004 roku, Eliezer Williams i in., przeciwko Stanowi Kalifornia i in. W tej sprawie sądowej pozywający uczniowie ze Zjednoczonego Okręgu Szkolnego San Francisco pozwali stan, argumentując, że stan nie zapewnił równego dostępu do materiałów instruktażowych, wysokiej jakości nauczycieli oraz bezpiecznych i przyzwoitych obiektów szkolnych. Skutkiem sprawy była ustawa z 2007 r. wymagająca, między innymi, aby szkoły corocznie składały sprawozdania z adekwatności materiałów dydaktycznych w zakresie przedmiotów podstawowych. W najniższych, osiągających 30 procent szkół, przeprowadzane są również kontrole adekwatności podręczników, ale w innych szkołach dane służą jedynie do publicznej odpowiedzialności. Poszczególne SARC są źródłem danych podręcznikowych do naszej analizy.



Chociaż dane podręczników SARC są dostępne dla praktycznie wszystkich szkół w stanie, [ix] istnieje wiele problemów z danymi, które sprawiły, że zebranie panelu podręcznika było dość trudne. Po pierwsze, SARC są dostępne w formie PDF tylko dla ponad 80 procent szkół w stanie (chociaż istnieje standardowy szablon, jest on używany tylko w około 20 procentach szkół; w związku z tym szkoły w różnych dystryktach mają różne formaty SARC z informacjami podręcznikowymi na różnych stronach). W rezultacie dane muszą być zbierane ręcznie. Tak więc w ciągu ostatnich dwóch lat zapłaciliśmy studentom studiów licencjackich i magisterskich w USC za zebranie danych SARC ze wszystkich ~7600 szkół w stanie, które obsługują klasy K-8. Jest to oczywiście bardzo czasochłonne i pracochłonne.

Drugie wyzwanie polega na tym, że nie ma jednolitych wymagań dotyczących sposobu raportowania tytułów podręczników. Czasami podaje się tylko wydawcę, czasami tytuł, a czasami tytuł i wersję. Czasami pojawiają się informacje o tytułach, które według naszej najlepszej wiedzy nie istnieją. Kalifornia jest stanem adopcyjnym, co oznacza, że ​​stan wydaje listę zatwierdzonych podręczników, do zakupu których zachęca szkoły i okręgi. Jeśli przyjmiemy, że kiedy szkoła umieszcza wydawcę na liście stanowej i rok adopcji odpowiadający ostatniej adopcji stanowej, oznacza to, że adoptowała książkę z listy stanowej, wtedy możemy zakodować zdecydowaną większość podręczników. [x] Jednak nawet przy tym założeniu około 14% szkół ma jeden lub więcej podręczników umieszczonych na liście, których nie można zidentyfikować, co stanowi około 9 procent wszystkich podręczników umieszczonych na liście.

trasy poszukiwań Johna Cabota

Nawet wśród książek, co do których jesteśmy pewni, że zostały prawidłowo zidentyfikowane, często istnieją dziesiątki (czasem setki) sposobów, na które dana książka może zostać wymieniona w danych. Na przykład dla Pearson Scott Foresman Addison Wesley enVisionMATH Kalifornia (najpopularniejsza książka w stanie w latach 2012-13), naliczyliśmy 142 unikalne sposoby, w jakie ta książka została wymieniona w SARC. Bardzo niewiele z tych tytułów faktycznie dostarcza wystarczających informacji, aby mieć pewność, która książka została wykorzystana bez znacznej wiedzy na temat zasad przyjmowania podręczników w Kalifornii i rynku podręczników. Ważnym wnioskiem z fazy zbierania danych w naszym projekcie jest to, że nawet w Kalifornii, gdzie prawo stanowe nakazuje raportowanie materiałów do programów nauczania, dane dotyczące materiałów do programów nauczania są dalekie od gotowości do analizy i wydaje się, że nie ma nad nimi niewielkiego nadzoru. To stawia pod znakiem zapytania, czy sprawozdawczość podręcznikowa może rzeczywiście stanowić źródło odpowiedzialności publicznej zgodnie z zamierzeniami.

Po znacznym wysiłku związanym z czyszczeniem danych, kiedy już wszystko zostało powiedziane i zrobione, zidentyfikowaliśmy około 240 unikalnych podręczników używanych w Kalifornii w około 7600 szkołach obsługujących klasy K-8 w latach 2012-13. Książki te zostały w większości przyjęte w latach bezpośrednio związanych z oficjalnym przyjęciem przez państwo, przy czym znaczna większość weszła do użytku jesienią 2008 lub 2009 roku. [xi]

Na podstawie tej listy konstruujemy naszą próbkę analityczną. Aby zostać uwzględnionym w naszej analizie, musi zostać spełnionych kilka kryteriów: musimy mieć dostępne cechy szkoły i dane dotyczące wyników ze szkoły przed i po adopcji, podręcznik musi być identyfikowalny z SARC, adopcja musi odbywać się w cyklu ( 2008 lub 2009), szkoła musi być przysposabiającym mundurek w badanych klasach podstawowych (1-3 dla analizy głównej, 1-5 dla analizy do klasy piątej), a szkoła nie może znajdować się w dzielnicy, która jest tak duże, że znalezienie odpowiednich szkół porównawczych jest niemożliwe. [xii]

Po ograniczeniu naszej próby za pomocą tych kryteriów, nasze ostateczne cięcie opiera się na rozpowszechnieniu różnych opcji podręczników w szkołach kalifornijskich — tylko cztery podręczniki zostały przyjęte w wystarczającej liczbie szkół, tak abyśmy mieli odpowiednią moc statystyczną do ich oceny: enVisionMATH Kalifornia wydane przez Pearson Scott Foresman, Matematyka kalifornijska opublikowane przez Houghton Mifflin , Matematyka w Kalifornii: koncepcje, umiejętności i rozwiązywanie problemów opublikowane przez McGraw-Hill, oraz Matematyka HSP w Kalifornii opublikowane przez Houghton Mifflin Harcourt. Ostatecznie nasza próba analityczna obejmuje 1878 szkół, które korzystały z jednej z tych czterech książek.

Łączymy informacje o przyjęciu programów nauczania przez szkoły z ich SARC z podłużną bazą danych zawierającą charakterystykę szkół i okręgów oraz wyniki osiągnięć obejmujące lata szkolne 2003–2013, stworzoną na podstawie publicznie dostępnych danych z Kalifornijskiego Departamentu Edukacji (CDE). Uzupełniamy dane CDE danymi ze spisu powszechnego Stanów Zjednoczonych na temat mediany dochodu gospodarstwa domowego i poziomu wykształcenia w obszarze lokalnym dla każdej szkoły, które łączymy na poziomie kodu pocztowego. Efekty osiągnięć są szacowane na podstawie średnich wyników testów szkolnych na stanowych ustandaryzowanych ocenach matematycznych. Skupiamy większość oceny na osiągnięciach w klasie 3, ale rozszerzamy również naszą analizę, aby zbadać wpływ programu nauczania na wyniki testów w klasach 4 i 5.

Metody

Aby przeanalizować nasze dane, stosujemy trzy powiązane podejścia analityczne. W szczególności szacujemy efekty programu nauczania za pomocą dopasowywania jądra, zwykłych najmniejszych kwadratów z ograniczonym wsparciem (ograniczone OLS) i dopasowywania rezydualnego na podstawie pozostałości. Te trzy metody zostały szczegółowo opisane w dokumencie roboczym. [xiii] We wszystkich przypadkach dopasowujemy na poziomie szkoły, chociaż w procesie dopasowywania używamy zarówno zmiennych szkolnych, jak i okręgowych. Dopasowujemy się na poziomie szkoły zarówno dlatego, że poprawia to naszą siłę statystyczną, jak i dlatego, że niektóre dystrykty nie stosują jednolitych wersji (to znaczy, że różne szkoły w dystrykcie przyjmują różne książki, a dopasowanie na poziomie szkoły pozwala nam wykorzystać te przypadki zamiast odrzucać je). .

Ideą wszystkich trzech podejść jest dopasowanie szkół w oparciu o ich zmienne sprzed adopcji (np. wielkość, cechy uczniów, wcześniejsze osiągnięcia) i śledzenie trajektorii ich osiągnięć kilka lat po adopcji. W artykule przedstawiamy wyniki wszystkich typowych testów wyważania, które dostarczają przekonujących dowodów na to, że nasze podejście do dopasowywania działa dobrze.

Kluczowym założeniem do identyfikacji leżącym u podstaw wszystkich naszych szacunków jest założenie warunkowej niezależności (CIA), które zakłada, że ​​nie ma żadnych zmiennych pominiętych w naszym procesie dopasowywania, które wpływają zarówno na wybór podręcznika, jak i wynik (osiągnięcia ucznia). Istnieje kilka koncepcyjnych powodów, dla których CIA jest wiarygodna w naszym wniosku, które szczegółowo omawiamy w naszym artykule. Bardziej formalnie przedstawiamy również wyniki testów fałszowania, które mają na celu wykrycie naruszeń CIA. Testy falsyfikacyjne szukają efektów programowych w sytuacjach, w których (a) nie powinniśmy oczekiwać żadnych efektów w ogóle lub (b) powinniśmy oczekiwać co najwyżej niewielkich efektów. Jeśli na przykład oszacujemy niezerowe efekty programowe w sytuacjach, w których wiemy, że efekty powinny wynosić zero, byłoby to mocną wskazówką, że CIA jest naruszona. W modelach falsyfikacyjnych szacujemy wpływ programu nauczania na wyniki testów przed rokiem przyjęcia głównych materiałów programowych oraz na wyniki testów z języka angielskiego (ELA) zamiast z matematyki. Gdyby selekcja kierowała naszymi odkryciami, spodziewalibyśmy się, że zobaczymy efekty niespójne w czasie i/lub poza tematem. Wyniki te przedstawiamy poniżej oraz w artykule; nie dostarczają żadnych dowodów sugerujących, że nasze odkrycia są obciążone nieobserwowaną selekcją.

Wyniki

Nasz pierwotny plan analityczny polegał na przeprowadzeniu porównań parami pomiędzy naszymi czterema interesującymi książkami (tj. sześciu testach parami). Musieliśmy jednak zmienić kurs z powodu dwóch problemów. Po pierwsze, w niektórych porównaniach parami równowaga współzmiennych jest słaba. Po drugie, nasza moc statystyczna jest ograniczona w porównaniach parami. To powiedziawszy, porównania parami (przedstawione w artykule) wskazują na Houghton Mifflin Matematyka kalifornijska są bardziej skuteczne niż pozostałe trzy książki i że pozostałe trzy książki mają podobny poziom skuteczności. W oparciu o wzór szacunków z porównań parami, zrestrukturyzowaliśmy analizę, aby przedstawić porównanie Houghton Mifflin Matematyka kalifornijska z kompozycją pozostałych trzech książek. Poprawia to naszą moc statystyczną i upraszcza prezentację (chociaż ponownie przedstawiamy wyniki porównań parami w artykule pod kątem kompletności).

Wyniki naszej głównej analizy wpływu na wyniki testu matematycznego trzeciej klasy są pokazane poniżej na rysunku 1 (prawy cztery zestawy słupków oznaczonych 1-4 na osi poziomej i lewe trzy słupki w każdym zestawie sześciu słupków). Wyniki pokazują, że Houghton Mifflin . ma pozytywny wpływ Matematyka kalifornijska w porównaniu z pozostałymi trzema książkami. Efekt ten pojawia się w pierwszym roku po przyjęciu i utrzymuje się do czwartego roku. Efekt mieści się w zakresie od 0,05 do 0,08 odchylenia standardowego, w zależności od roku i modelu. Podczas gdy oszacowania dopasowania jądra są podobne pod względem wielkości do ograniczonych OLS i oszacowań dopasowania rezydualnego opartego na pozostałościach, te dwa ostatnie są statystycznie istotne, ponieważ uzyskują moc statystyczną z ich dodatkowych założeń (w artykule omawiamy, dlaczego uważamy te założenia za rozsądne) .

Rysunek 1. Wpływ matematyki kalifornijskiej w porównaniu z alternatywą złożoną na wyniki testu trzeciej klasy w czasie i przy użyciu różnych estymatorów

CCF_20170105_Polikoff_Evidence_Speaks_1

Efekty te mogą wydawać się skromne, ale pamiętaj, że dotyczą wszystkich uczniów w szkole. Polityka skierowana do najniższych 10 procent uczniów musiałaby mieć efekt dziesięciokrotnie większy, aby wygenerować taką samą całkowitą zmianę w osiągnięciach. Ta wielkość efektu odpowiada około jednej trzeciej do połowy odchylenia standardowego w rozkładzie efektywności nauczycieli; jest to zatem równoznaczne z bardzo dużą zmianą średniej efektywności nauczycieli na rynku pracy.

Moglibyśmy się spodziewać, że efekty materiałów programowych będą większe w późniejszych latach, ponieważ uczniowie będą mieli kontakt z materiałami w większej liczbie klas (tj. w wyższych dawkach). Jednak tego schematu nie obserwujemy w szacunkach. Oczywiście możliwe jest, że faktycznie istnieje efekt dawkowania, ale nie mamy mocy statystycznej, aby to zaobserwować. Możliwe jest również, że tylko (lub przede wszystkim) podręcznik do bieżącej oceny ma znaczenie dla osiągnięć uczniów na egzaminach państwowych. Zatem to, czy uczeń miał kontakt z tym samym lub innym podręcznikiem w poprzednich latach, może mieć niewielkie znaczenie.

Nasze wyniki z naszej analizy wyników z matematyki w czwartej i piątej klasie, dostępne w artykule, pokazują ogólnie podobne wzorce, z pewnymi różnicami w poszczególnych klasach. W czwartej klasie rozmiary efektów są nieco mniejsze (od 0,02 do 0,06 odchylenia standardowego) i są statystycznie istotne tylko w niektórych latach. W klasie piątej wielkości efektu wahają się od 0,03 do 0,05 odchylenia standardowego w roku pierwszym do 0,10 odchylenia standardowego w roku czwartym, ponownie statystycznie istotne w każdym roku. Efekty piątej klasy zwiększają się z roku na rok (chociaż wzrosty nie zawsze są statystycznie znaczące) w sposób, który sugeruje efekt dawkowania. W żadnym z modeli w żadnej z trzech klas lub czterech lat nie ma ujemnego współczynnika dla Houghton Mifflin Matematyka kalifornijska w porównaniu z kompozycją trzech pozostałych podręczników.

Rysunek 1 pokazuje również nasze testy fałszowania (które powtarzamy również dla klas czwartych i piątych w całym artykule). Wpływy na postadopcję ELA są pokazane w odpowiednich czterech zestawach słupków i prawej połowie każdego zestawu. Nie jest jasne, czy te szacunki powinny wynosić zero, czy nie ex ante ponieważ mogą wystąpić efekty zewnętrzne programu nauczania, ale co najwyżej powinny być one mniejsze niż efekty matematyczne. Oszacowania efektu sprzed adopcji podano dla obu badanych w pierwszych czterech zestawach słupków na rycinie. Szacunki przed przyjęciem powinny wynosić zero w przypadku braku błędu selekcji, ponieważ badane przez nas metody leczenia nie zostały jeszcze wdrożone. Wszystkie szacunki dotyczące fałszerstw są zasadniczo małe i statystycznie nieistotne, co jest zgodne z oczekiwaniami, jeśli CIA jest usatysfakcjonowana.

Dyskusja

Nasza praca wnosi kilka ważnych wkładów. Najpierw zebraliśmy zestaw danych dotyczących adopcji podręczników w Kalifornii, największym stanie USA z największą liczbą szkół. Otrzymaliśmy fundusze na dalsze gromadzenie tych danych. Będziemy nadal analizować dane i kontynuować naukę innych przedmiotów i innych stopni. Planujemy również udostępnić dane zainteresowanym badaczom, aby inni mogli podążać za nowymi kierunkami badań. Istnieje wiele ważnych pytań w tym obszarze, które nie dotyczą wpływu na osiągnięcia uczniów — na przykład, czy istnieje sprawiedliwy dostęp do aktualnych materiałów programowych? Czym różnią się szkoły czarterowe i tradycyjne szkoły publiczne pod względem wzorców adopcji? Mamy nadzieję, że te nowo dostępne dane mogą zapoczątkować nową falę opartych na danych badań dotyczących adopcji podręczników i ich skutków. W aktualnej literaturze naukowej bardzo brakuje analiz ilościowych podręczników w szkołach.

Po drugie, nasza praca ponownie pokazuje metodę (wcześniej zademonstrowaną przez Bhatta, Koedela i Lehmanna [XIV] ), które można zastosować w innych stanach, klasach i przedmiotach. Wierzymy w tym momencie, że metoda jest na tyle dobrze rozwinięta, że ​​może być szeroko stosowana. Robiąc to — studiując efekty podręcznika w wielu różnych środowiskach — możemy zacząć lepiej rozumieć, co działa, gdzie i dla kogo. Oprócz Kalifornii zebraliśmy dane dotyczące adopcji podręczników w Teksasie, Illinois, Nowym Jorku i na Florydzie. Nie jest jasne, czy posiadane przez nas dane są wystarczająco kompletne, aby umożliwić tego rodzaju badanie w każdym przypadku, ale spróbujemy.

Jednym z najczęstszych pytań, jakie otrzymujemy, prezentując tę ​​pracę, jest: o czym ona jest Matematyka kalifornijska to czyni to skutecznym? W tej chwili po prostu nie ma możliwości poznania odpowiedzi na to pytanie, dlatego postanawiamy nie spekulować. Istnieje bez wątpienia niezliczona ilość sposobów, w jakie Matematyka kalifornijska różni się od innych badanych podręczników i nie można stwierdzić, który z tych wymiarów ma znaczenie, jeśli w ogóle. To moze byc to Matematyka kalifornijska zawiera lepsze techniki pedagogiczne do nauczania podstawowych treści, jest lepiej dostosowany do standardów państwowych lub testu państwowego lub po prostu jest łatwiejszy dla nauczycieli do wiernego wdrożenia. Gdybyśmy mieli jednak więcej badań efektów podręcznikowych i gdyby te badania były połączone z analizami samych materiałów, można sobie wyobrazić, że moglibyśmy zacząć lepiej rozumieć, które materiały działają i dlaczego.

Po trzecie, nasza praca rozszerza dotychczasową literaturę na kilka sposobów, które naszym zdaniem są ważne. Analiza ta śledzi wpływ osiągnięć przez cztery lata po przyjęciu, czyli dłużej niż w jakimkolwiek poprzednim badaniu. Śledzimy również efekty osiągnięć w trzech klasach, znowu bardziej niż w jakimkolwiek poprzednim badaniu. Mamy nadzieję, że przyszłe badania mogą nadal poszukiwać tych długoterminowych skutków.

Rekomendacje dla decydentów powiatowych

Okręgi szkolne w całym kraju co kilka lat podejmują decyzje dotyczące podręczników, które zamierzają przyjąć do podstawowych przedmiotów akademickich. Decyzje te są trudne przy tak niewielkiej ilości informacji na temat skuteczności. Oczywiście, gdy informacje dotyczące skuteczności staną się dostępne, zalecamy, aby decydenci okręgu skorzystali z nich. Nie musi to oznaczać po prostu przyjęcia najskuteczniejszej książki, jak oceniamy na podstawie naszej analizy, ale oznaczałoby to poważne uwzględnienie wpływu na osiągnięcia uczniów w procesie podejmowania decyzji. Nasze wywiady z liderami okręgów w Kalifornii sugerują, że często biorą oni pod uwagę wiele czynników i nie ma powodu sądzić, że nie byliby zainteresowani dostępnymi danymi o wpływie.

Uważamy również, że decydenci okręgowi mogą odgrywać bardziej aktywną rolę w udostępnianiu informacji o materiałach programowych do badań. Jednym ze sposobów ułatwienia tego byłoby wywarcie presji na państwo, aby poświęciło więcej zasobów na zbieranie i analizę danych. Być może byłoby możliwe, aby organizacje zawodowe przewodziły w tej dziedzinie (albo organizacje administratorów powiatów, albo organizacje przedmiotowe, takie jak Krajowa Rada Nauczycieli Matematyki), zbierając dane z wielu powiatów; lub, gdy okoliczności są sprzyjające, nawet pomoc w organizowaniu eksperymentów, które pomogą nam dowiedzieć się o skuteczności programu nauczania. Istnieje wiele możliwych ścieżek naprzód. Ostatecznie sprowadza się do pytania, kto jest odpowiedzialny za zapewnienie, aby uczniowie w naszych szkołach korzystali z efektywnych materiałów programowych. Kimkolwiek są te osoby, powinny być zaniepokojone tym, jak mało wiemy o skuteczności różnych zestawów materiałów, tym bardziej biorąc pod uwagę garstkę badań — w tym tę, którą tutaj opisujemy — wykazujących ogromny potencjał bardziej efektywnych materiałów programowych. poprawić osiągnięcia uczniów.

żony króla Henryka viii w porządku

Rekomendacje dla stanów

Chociaż wyniki tej analizy są, naszym zdaniem, interesujące i ważne, Houghton Mifflin Matematyka kalifornijska nie jest już sprzedawany w Kalifornii (ani gdziekolwiek indziej, o ile nam wiadomo). Z czterech badanych podręczników wierzymy tylko enVisionMATH jest nadal sprzedawany, choć w wersji dostosowanej do Common Core. [xv] Zatem odkrycia dotyczące tej konkretnej książki nie są tak przydatne, jak byłyby, gdyby cztery książki były nadal w powszechnym użyciu.

Aby wpłynąć na politykę, przyszłe prace muszą przebiegać w odpowiednim czasie. Chociaż nasza zdolność do przeprowadzania bardziej terminowych analiz zawsze będzie ograniczona, ponieważ badania tego rodzaju są z natury wsteczne (tj. potrzebujemy czasu na obserwację wyników po leczeniu), istnieje kilka działań politycznych, które mogą skrócić czas realizacji. Po pierwsze, daty wydania SARC mogą zostać przesunięte – obecnie wychodzą z rocznym opóźnieniem (np. SARC 2015-16 są publikowane od wiosny do lata 2017). Inną kwestią jest to, że praca nad gromadzeniem i czyszczeniem danych kalifornijskich zajmuje wiele miesięcy na dany przedmiot i przedział klasowy, nawet przy pełnym obciążeniu. Mamy nadzieję, że Kalifornia (i inne stany) ułatwią tę pracę, tworząc i udostępniając systemy danych, które w krótszym czasie zawierają dokładne informacje podręcznikowe. Gdyby tak było, tego rodzaju analizę można by przeprowadzić znacznie szybciej, co uczyniłoby ją bardziej użyteczną w podejmowaniu decyzji politycznych w terenie.

Dane kalifornijskie są słabej jakości, a nawet dane z Teksasu (o których tutaj nie dyskutujemy, ale są znacznie lepsze) pozostawiają wiele do życzenia. Uważamy, że stosunkowo łatwo byłoby włączyć gromadzenie danych podręcznikowych do regularnych działań stanowych dotyczących zbierania danych ze szkół i okręgów. W szczególności, mając numer ISBN i rok adopcji dla każdego podręcznika używanego w każdym obszarze przedmiotowym i na każdym poziomie, łatwo byłoby stworzyć panel adopcji podręczników w całym stanie. Taki zbiór danych miałby wiele zastosowań badawczych, ale mógłby być również wykorzystywany w polityce i praktyce do łączenia szkół lub okręgów stosujących te same programy nauczania w celu rozwoju zawodowego lub dzielenia się zasobami. Tego typu zbieranie danych nie byłoby darmowe, ale jest dość dyskretne, a biorąc pod uwagę znaczenie podręczników w codziennej działalności szkół, uważamy, że prawie na pewno warte wysiłku i kosztów.


[i] Chingos, MM i Whitehurst, G.J. (2012). Wybieranie na ślepo: materiały instruktażowe, skuteczność nauczyciela i wspólny rdzeń. Waszyngton, DC: Brookings.
[ii] Agodini, R., Harris, B., Atkins-Burnett, S., Heaviside, S. i Novak, T. (2010). Efekty osiągnięć czterech programów nauczania matematyki wczesnoszkolnej: Ustalenia dla uczniów pierwszej i drugiej klasy . Waszyngton, DC: National Center for Education Evaluation and Regional Assistance, Departament Edukacji Stanów Zjednoczonych, Institute of Education Sciences.
Bhatt, R. i Koedel, C. (2012). Oceny efektywności programów nauczania na dużą skalę: przypadek matematyki elementarnej w Indianie. Ewaluacja i analiza polityki edukacyjnej, 34 (4), 391-412.
Bhatt, R., Koedel, C. i Lehmann, D. (2013). Czy jakość programu nauczania jest jednolita? Dowody z Florydy. Przegląd Ekonomiki Oświaty, 34 (1), 107-121.
[iii] Boser, U., Chingos, M. i Straus, C. (2015). Ukryta wartość reformy programu nauczania: Czy stany i dystrykty otrzymują najwięcej pieniędzy za swoje programy nauczania? Waszyngton, DC: Centrum Amerykańskiego Postępu.
[iv] Zobacz Bhatt i Koedel, 2012; Bhatt, Koedel i Lehmann, 2013.
[v] O ile mi wiadomo, Nowy Meksyk i Luizjana zaczęły zbierać dane.
[my] Jak się okazuje, Kalifornia i Teksas zbierają dane od jakiegoś czasu. Dane z Kalifornii są opisane w naszym artykule. W Teksasie stan gromadzi wszystkie dane dotyczące zakupu podręczników na poziomie stanowym, a dane można uzyskać ze stanowej strony internetowej lub za pośrednictwem wniosku o wolność informacji (w przypadku danych historycznych).
[idziesz] Niniejszy materiał jest oparty na pracach wspieranych przez National Science Foundation w ramach grantu nr 1445654 oraz Smith-Richardson Foundation. Wszelkie opinie, ustalenia, wnioski lub zalecenia wyrażone w tym materiale są opiniami autorów i niekoniecznie odzwierciedlają poglądy darczyńców.
[viii] https://economics.missouri.edu/paper/wp-16-12
[ix] Istnieje niewielka liczba szkół, które wydają się w ogóle nie zapewniać SARC, a inna niewielka liczba zapewnia SARC, ale nie zapewnia informacji podręcznikowych. Razem stanowią one nieco mniej niż 7 procent szkół w latach 2014-15.
[x] To założenie jest słuszne, ponieważ zdecydowana większość szkół kalifornijskich, zwłaszcza przed Common Core, została skreślona z listy zatwierdzonej przez stan (do niedawna fundusze na podręczniki kategoryczne mogły być wykorzystywane tylko na książki z listy stanowej).
[xi] Wszystkie analizy ograniczamy do szkół, które przyjęły książki na cykl (czyli te dwa lata).
[xii] Eliminuje to zunifikowane okręgi szkolne Los Angeles i Long Beach, które są znacznie większe niż inne okręgi w próbie analitycznej.
[xiii] https://economics.missouri.edu/paper/wp-16-12
[XIV] Zobacz Bhatt i Koedel, 2012; Bhatt, Koedel i Lehmann, 2013.
[xv] Inne prace sugerują, że dostosowana do Common Core wersja enVisionMATH w rzeczywistości nie jest szczególnie dobrze dostosowany do Wspólnego Rdzenia. Polikoff, MS (2015). Jak dobrze dostosowane są podręczniki do Common Core Standards w matematyce? American Educational Research Journal, 52 (6), 1185-1211.