Source: http://crab.rutgers.edu/~goertzel/mythsofmurder.htm
Rutgers University, Camden, NJ 08102
Objavljeno u “The Skeptical Inquirer”, Knjiga 26, No 1, Januar/Februar 2002, str. 19-23.
Španjolski prijevod kao “El Modelo Econometrico Como Ciencia Basura,” u Psicologia Politica, No 24 (Valencia, Španija).
Ako želite duži, više tehničkih verzija ovog rada, u Word formatu, kliknite ovdje.
Vjerujete li da svaki put kada se zatvorenik se izvršava u Sjedinjenim Američkim Državama, osam budućnost ubistva odvratila? Vjerujete li da je povećanje od 1% u broju građana dozvolu za nošenje skriveno oružje uzrokuje smanjenje od 3,3% u stopi države ubistvo? Vjerujete li da 10 do 20% pada kriminala u 1990. je uzrokovan povećanjem abortusa u 1970-ih godina? Ili da je stopa ubistava od 1974. godine porasla bi za 250% ako su Sjedinjene Države ne gradi toliko novih zatvora?
Ako ste bili zavedeni bilo koji od ovih studija, možda su pale za poguban oblik smeća nauke: korištenje matematičkih modela bez pokazala prediktivne mogućnosti da bi privukli zaključke politike. Ove studije su površno impresivni. Napisao uglednih društvenih nauka iz prestižnih institucija, oni se često pojavljuju u recenziji naučnim časopisima. Ispunjen sa složenim statističkim proračunima, daju precizne numeričke “činjenice” koje se mogu koristiti kao točke debatanata ‘u argumentima politike. Ali ove “činjenice” su će o ‘the pramenovi. Prije mastilo osuši na jednoj studiji, drugi se pojavljuje s potpuno različitim “činjenice”. Uprkos svojim naučnim izgledu, ovi modeli ne ispunjavaju osnovni kriterijum za koristan matematički model: sposobnost da se predviđanja da su bolji nego slučajnost.
Iako ekonomisti su vodeći praktičari ove tajanstvene umjetnosti, sociologa, kriminolozi i drugi sociolozi imaju verzije kao i. On je poznat po različitim imenima, uključujući i “ekonometrijskih modeliranje”, “strukturalne modeliranje jednadžbe,” i “analiza put.” Sve su to načini pomoću korelacije između varijabli da kauzalne zaključke. Problem sa ovim, kao i svako ko je imao naravno u statistici zna, je da korelacija nije uzročnost. Korelacije između dvije varijable su često “lažne”, jer su uzrokovane nekim treće varijable. Ekonometrijskih modelari pokušavaju da prevaziđu ovaj problem, uključujući sve relevantne varijable u svojim analizama, koristeći statističke tehnike pod nazivom “višestruke regresije.” Ako jedan je imao savršen mjera svih uzročne varijable, to bi raditi. Ali podaci nikad nisu dovoljno dobri. Ponovljeni napori da se koriste višestruke regresije za postizanje konačne odgovore na pitanja javne politike nisu uspjeli.
Međutim, mnogi sociolozi su nerado priznaju neuspjeh. Oni su posvetili godina na učenje i modeliranje nastave regresije, a oni i dalje koriste regresije da uzročne argumente koje nije opravdano njihovi podaci. Zovem te argumente mitove višestruke regresije, i ja bih da iskoristim četiri studije stopa ubistva kao primjere.
Mit jedan: više puške, manje kriminala.
John Lott, ekonomista na Univerzitetu Yale, koristio ekonometrijski model tvrditi da “omogućava građanima da nose skriveno oružje odvraća nasilnih zločina, bez povećanja slučajnog smrti.” Lott analiza uključeni “donosi” zakone koji zahtijevaju lokalne vlasti da izdaju skrivenog oružja dopustiti da bilo koji građanin koji poštuju zakon koji važi za jednog. Lott Procjenjuje se da svaki rast jedan posto u vlasništvu pištolj u populaciji uzrokuje smanjenje od 3,3% u stopama ubistva. Lott i njegov koautor, David Senf je pisao prvu verziju svog studija na internetu u 1997. i desetine hiljada ljudi preuzeli to. To je bio predmet političkih foruma, novinske kolumne, a često i vrlo sofisticirane rasprave na World Wide Webu. U knjizi sa privlačan naslov Više Guns, manje kriminala, Lott rugali njegovi kritičari, optužujući ih za stavljanje ideologije ispred nauke.
Lott rad je primjer statističkih jednom upmanship. On ima više podataka i složenije analize nego bilo ko drugi proučava temu. On zahtijeva da svako ko želi da ospori svoje argumente postati uronjen u vrlo složene statističke rasprave, na osnovu proračuna tako teško da se oni ne mogu učiniti s običnim desktop računarima. On izaziva svako ko se ne slaže s njim preuzeti svoj set podataka i ponovite svojim proračunima, ali većina sociolozi ne mislim da je vrijedno njihove dok replicirati studije koristeći metode koje su u više navrata nije uspio. Većina istraživača kontrolu oružja jednostavno odbacio tvrdnje Lott i senfa i nastavio sa svojim radom. Dva visoko poštovan krivičnog istraživači pravosuđa, Frank Zimring i Gordon Hawkins (1997) napisao je članak objašnjavajući da:
baš kao gospoda Lott i Mustard može, uz jedan model determinanti ubistva, proizvesti statistički ostaci ukazuje na to da ‘izdaje’ zakone smanjiti ubistvo, očekujemo da odlučno ekonometrista može proizvesti tretman istih istorijskih perioda sa različitim modelima i suprotan efekat. Ekonometrijski modeliranje je dvosjekli mač u svoje kapacitete kako bi se olakšalo statističke zaključke zagrijati srca istinski vjernici bilo koje trake.
Zimring i Hawkins bili u pravu. U roku od godinu dana, dva odlučna ekonometri, Dan Black i Daniel Nagin (1998) objavio je studiju koja pokazuje da, ako su promenili statistički model malo, ili primjenjuje se na različite segmente podataka, Lott i nalazi Senf je nestao. Crno i Nagin otkrili da kada je Florida uklonjen iz uzorka nije bilo “ne otkriti utjecaj zakona pravo za nošenje na stopu ubistva i silovanja.” Oni su zaključili da “zaključak na osnovu modela Lott i Senf je neprikladno, a njihovi rezultati ne mogu se koristiti odgovorno za formulisanje javnih politika.”
John Lott, međutim, sporno njihova analiza i nastavio promovirati svoju. Lott je prikupio podatke za svaku od Amerike okruga za svaku godinu od 1977. do 1992. godine problem sa ovim je da se u Americi županije varira strahovito u veličini i socijalne karakteristike. Nekoliko velikih, koji sadrži velikih gradova, čine veliki procenat ubistava u Sjedinjenim Američkim Državama. Kao što se događa, nijedna od tih vrlo velike županije imaju “izdaje” kontrola zakone o oružju. To znači da je velik skup podataka Lott je jednostavno neprikladan za svoj zadatak. On je imao varijacija u njegovoj ključnim uzročna varijabla – “donosi” zakone – na mjestima gdje je došlo najviše ubistava.
On nije spomenuo ovo ograničenje u svojoj knjizi ili članke. Kada sam otkrio nedostatak “izdaje” zakone u većim gradovima u svom ispitivanju svoje podatke, pitao sam ga o tome. On je slegnuo ramenima ga, rekavši da je “pod kontrolom” za veličinu populacije u svojoj analizi. Ali uvođenjem statističke kontrole u matematičke analize nije da se zbog činjenice da je on jednostavno nije imao podatke za velikim gradovima gdje je problem ubistva bio najizraženiji.
Trebalo mi je neko vrijeme da se ovaj problem u svoje podatke, jer nisam bio upoznat sa kontroli oružja pitanje. Ali Zimring i Hawkins odmah nuli u tome jer su znali da “izdaje” zakoni su pokrenuti u državama u kojima Nacionalne Rifle Association je moćan, uglavnom na jugu, zapadu i u ruralnim područjima. To su bile države koje već ima nekoliko ograničenja na oružje. Oni su primetili da je taj zakonodavni povijest frustrira “naš kapacitet za usporedbu trendova u ‘izdaje’ država s trendovima u drugim državama. Budući da je država koja je promijenila zakoni se razlikuju u lokaciji i ustav iz država koje nisu, poređenja preko zakonodavni kategorijama će uvijek rizikuju zbunjujuće demografske i regionalne utjecaje sa uticajem ponašanja različitih pravnih režima. ” Zimring i Hawkins dalje primetio da:
Lott i Mustard su, naravno, svjesni ovog problema. Njihovo rješenje, standardne ekonometrijskih tehnika, je da se izgradi statistički model koji će kontrolirati za sve razlike između Idaho i New Yorku koji utiču na ubistva i kriminala stope, osim zakona “izdaje”. Ako se može “odrediti” velikih uticaja na ubojstvo, silovanje, provala, i auto krađe u našem modelu, onda možemo eliminirati utjecaj tih faktora na različitim trendovima. Lott i Senf izgraditi modele koji procjenjuju efekte demografskih podataka, ekonomski podaci, i krivično kažnjavanje na razne prekršaje. Ovi modeli su vrhunski u statističkim domaćom kuhinjom u da su stvoreni za ove podatke koje je postavila ovih autora i samo testirana na podacima koji će se koristiti u procjeni uticaja pravo-na-nositi.
Lott i Mustard su poređenja trendova u Idaho i West Virginia i Mississippi s trendovima u Washingtonu, da kapo i New Yorku. Ono što se zaista dogodilo je da je došlo do eksplozije ubistava pukotine u vezi u glavnim istočnim gradovima u 1980-ih i ranih 1990-ih. Lott je cijeli argument je došao do tvrdnje da je u velikoj mjeri ruralnog i zapadni “izdaje” država bili pošteđeni epidemije ubistvo pukotine u vezi zbog “izdaje” zakone. To nikada ne bi bio shvaćen ozbiljno ako nije zaklonjen lavirint jednadžbi.
Mit dva: zatvaranje više ljudi smanje kriminala
Slučaj Lott i Mustard je bio izuzetan samo u iznosu od pažnje javnosti je primila. To je sasvim uobičajeno, čak i tipično, za rivala studija koji će biti objavljen pomoću ekonometrijskih metoda do suprotne zaključke o istom pitanju. Često ne postoji ništa vidljivo u redu sa bilo kojim od analize. Oni jednostavno koriste neznatno različite skupove podataka ili različite tehnike za postizanje različitih rezultata. Čini se kao da je regresija modelari može postići bilo koji rezultat žele bez kršenja pravila analize regresije na bilo koji način. U jednom izuzetno iskren iskaz nezadovoljstva sa ovog stanja, dva veoma poštuju kriminolozi, Thomas Marvell i Carlisle Moody (1997: 221), prijavio na recepciji studije su učinili efekta zatvora stopa ubistava. prijavili su da su:
široko distribuiran [njihove] nalazima, zajedno s podacima koji se koriste, kolegama koji su specijalizovani u kvantitativna analiza. Najčešći odgovor je da oni odbijaju da vjeruju rezultatima, bez obzira koliko je dobar statističke analize. Iza da tvrdnja je pojam, često razgovarao neformalno, ali rijetko objavio, da sociolozi mogu dobiti bilo koji rezultat željeni manipulacijom postupaka koji se koriste. U stvari, širok spektar procjene koje se odnose na utjecaj zatvora populacije uzima kao dobar dokaz o povodljivosti istraživanja. Implikacija, čak i među mnogim koji redovno objavljuje kvantitativne studije, je da bez obzira na to koliko je temeljita analiza, rezultati nisu vjerodostojne, osim ako su u skladu s prethodnim očekivanjima. Istraživanje disciplina ne može uspjeti u takav okvir.
Da bi njihova velika zasluga, Marvell i Moody iskreno priznao problema sa višestruke regresije, i napravio neke prijedloge za poboljšanje. Nažalost, neki ekonometri postati toliko uronjen u svoje modele da izgube pojam o tome kako proizvoljne su. Oni dolaze u vjeruju da su njihovi modeli su pravi, više važi, nego neuredna, neposlušne, “nekontrolisano” stvarnosti oni tvrde da objasni.
Mit tri: izvršavanje ljudi smanje kriminala
U 1975 “The American Economic Review” objavio članak vodeći ekonomista Isaac Ehrlich na univerzitetski od Mičigen, koji procjenjuje da svaki izvršenje odvratiti osam ubistava. Prije Ehrlich, najpoznatiji specijalista o efikasnosti smrtne kazne bio je Thorsten Selen, koji su koristili mnogo jednostavniji način analize. Selen je pripremio grafikone u odnosu trendove u različitim državama. Otkrio je malo ili nikakve razlike između država sa ili bez smrtne kazne, jer on je zaključio da je smrtna kazna napravio nikakvu razliku. Ehrlich, u čin statističkih jednom upmanship, tvrdio da je njegova analiza nije bio valjan, jer je pod kontrolom za sve faktore koji utiču na stope ubistva.
Čak i prije nego što je objavljen, Ehrlich rad je citiran od strane Javni tužilac Sjedinjenih Američkih Država i amicus curiae podnio Vrhovnom sudu SAD-a u odbrani smrtne kazne. Srećom, Sud je odlučio da se ne oslanjaju na Ehrlich iskaza jer nije potvrđeno od strane drugih istraživača. To je bilo mudro, jer je u roku od godinu ili druga dva istraživača objavio jednako sofisticirane ekonometrijske analize pokazuju da je smrtna kazna nije imala efekta odvraćanja.
Kontroverza oko Ehrlich rad je toliko važno da National Research Council sazvao plavu vrpcu panel stručnjaka da ga pregleda. Nakon vrlo detaljnog pregleda, Komisija je odlučila da problem nije bio samo s modelom Ehrlich, ali sa idejom korištenje ekonometrijskih metoda za rješavanje kontroverze zločinačku politiku pravosuđa. Oni (Manx, 1978: 422) je zaključio da:
jer su podaci će vjerovatno biti na raspolaganju za takve analize imaju ograničenja i zbog kriminalnog ponašanja može biti tako složen, pojava definitivni studije ponašanja laže da se odmori sve kontroverze o efektima ponašanja odvraćanja politika ne treba očekivati.
Većina stručnjaka sada vjeruju da Sellen je bio u pravu, da smrtna kazna nema očitih učinak na stopu ubistava. Ali Ehrlich nije uvjerio. On je sada usamljen istinski vjernik u ispravnost svojih modela. U nedavnom intervjuu (Bonner i Fessendren, 2000), on je insistirao, “ako varijacije kao što su nezaposlenost, nejednakost prihoda, vjerovatnoća hapšenja i spremnosti za korištenje smrtne kazne su činili, smrtnu kaznu pokazuje značajan učinak odvraćanja.”
Mit četiri: legalizovano abortus skrivio kriminala kap u 1990.
Godine 1999., John Donohue i Steven Levitt objavio studiju sa roman objašnjenje oštar pad stope ubistava u 1990-ih. Tvrdili su da je legalizacija abortusa je Vrhovni sud Sjedinjenih Američkih Država 1973. godine izazvao je pad rađanja neželjene djece, nesrazmjeran broj od kojih bi odrastao biti kriminalci. Problem sa ovim argument je da je legalizacija abortusa je istorijski događaj jednokratni i jednokratni događaji ne pružaju dovoljno podataka za valjanu regresije analize. Istina je da je abortus je ranije legalizovan u nekim državama u odnosu na druge, a Donohue i Levitt iskoristiti tu činjenicu. Ali, sve te države su prolaze kroz iste istorijske procese, i mnoge druge stvari koje su se dešavale u istom istorijskom periodu da izvrši stope ubistvo. A važi regresija analiza će morati da snimite sve ove stvari, i da ih testiraju pod širok spektar varijacija. Postojeći podaci ne dozvoljavaju da, tako da se rezultati analize regresije će varirati ovisno o kojoj se podaci odabrane za analizu.
U ovom slučaju, Donohue i Levitt odlučio da se fokusira na promjene u vremenskom rasponu od dvanaest godina, zanemarujući fluktuacije unutar tih godina. Na taj način, kao James Fox. (2000: 303) ističe, “oni većina smjene u zločinu propustili u tom periodu – uzlazni trend tokom kasnih 1980-tih pukotina ere i korekcije u post-crack godina Ovo je nešto poput proučavanja efekata faza moon na oceanske plime, ali samo za snimanje podataka za period oseke. ”
Kada sam pisao ovaj članak, uključen sam rečenicu navodeći “uskoro još regresija analitičar će vjerojatno ponovnu analizu iste podatke i do različitih zaključaka.” Nekoliko dana kasnije, moja supruga mi je dao novinama priča o samo takve studije. Autor je bio niko drugi nego John Lott Yale, zajedno sa John Whitley Univerziteta u Adelaide. Oni crunched isti broj i zaključio da “legalizaciju stope ubistava abortusa povećan za oko oko 0,5 na 7 procenata” (Lott i Whitely, 2001).
Zašto takav značajno različite rezultate? Svaki set autora jednostavno izabrali drugačiji način za modeliranje neadekvatan tijelo podataka. Ekonometrija ne može napraviti važi opšti zakon iz istorijske činjenice da je abortus je legalizovan u 1970. i kriminala pao u 1990. Trebalo bi nam barem nekoliko desetaka takvih istorijskih iskustava za valjanu statistički test.
Zaključci.
Pravi test u statističkim modeliranja je predviđanje. Predviđanje ne mora biti savršen. Ako se model može predvidjeti znatno bolje nego nasumično pogađanja, to je korisno. Na primjer, ako je model mogao predvidjeti cijene dionica čak i malo bolji od slučajnih pogađanja, da bi svojim vlasnicima vrlo bogat. Dakle, mnogo truda je otišao u testiranje i vrednovanje modela cijene dionica. Nažalost, istraživači koji koriste ekonometrijske tehnike za procjenu socijalne politike vrlo rijetko podvrgavaju svoje modele na prediktivni testove. Njihov izgovor je da je potrebno previše vremena za ishode da se zna. Ne dobiti nove podatke o siromaštvu, abortus ili ubistva svakih nekoliko minuta kao i ti sa cijene dionica. Ali istraživači mogu učiniti prediktivnog testiranja na druge načine. Oni mogu razviti model na osnovu podataka iz jedne jurisdikcije ili vremenski period, a zatim ga koristiti za predviđanje podacima iz drugih vremena i mjesta. Ali, većina istraživača jednostavno ne radi to, ili ako oni modeli ne i rezultati nikada nisu objavljeni.
Časopisa koji objavljuju ekonometrijske studije o pitanjima javne politike često ne zahtijevaju prediktivni testiranje, što pokazuje da su urednici i recenzenti imaju nizak očekivanja za svoja polja. Dakle, istraživači su uzeti podatke za određeno vrijeme i zadržati fino podešavanje i podešavanje njihov model sve dok oni mogu “objasniti” trendove koji su već dogodilo. Uvijek postoje više načina da se to uradi, i sa modernim kompjuterima nije strašno teško držati pokušavaju dok ne pronađete nešto što se uklapa. U tom trenutku, istraživač zaustavlja, piše se nalaze, i šalje papir off za objavljivanje. Kasnije, drugi istraživač može prilagoditi model dobiti drugačiji rezultat. To ispunjava stranice naučnih časopisa, i svi su se pretvara da se ne da malo primijetiti ili je postignut nikakav napredak. Ali mi se ne bliži imaju važeću ekonometrijski model danas stope ubistva nego što smo bili kada je Isaac Ehrlich objavio prvi model u 1975.
Naučna zajednica nema dobre procedure za priznavanje neuspjeha široko koristi istraživanje metoda. Metode koje su ukopani u diplomske programe na vodećim univerzitetima i objavljeni u prestižnim časopisima imaju tendenciju da se ponavljaju. Mnogi laici pretpostavljaju da, to je važeća ako je studija objavljena u peer časopisu. Slučajevi smo ispitali pokazuju da to nije uvijek slučaj. Peer review osigurava da uspostavljena praksa su pratili, ali to je malo pomoći kada se ta praksa u kvaru.
Godine 1991., David Freedman, istaknuti sociolog na University of California u Berkeleyu i autor udžbenika na kvantitativnih metoda istraživanja, protresao temelje modeliranja regresije kada je iskreno rekao: “Ja ne mislim da je regresija može nositi veći teret u . uzročna argument Niti regresije jednadžbe, sami po sebi, dati puno pomoći u kontroli za zbunjujućih varijabli “(Freedman, 1991: 292). Freedman članak izazvala brojne snažne reakcije. Richard Berk (1991: 315) primijetio da Freedman argument “će biti vrlo teško za većinu kvantitativnih sociologa da prihvati to ide u srce svojih empirijskih preduzeća i na taj način, stavi cijelu profesionalnu karijeru u opasnost.”.
Suočeni sa kritičarima koji žele neki dokaz da mogu predvidjeti trendove, regresija modelari često pasti na statističkim jednom upmanship. Prave argumente tako kompleksan da samo drugi visoko obučeni regresije analitičari mogu razumjeti, a kamoli pobije ih. Često ovu tehniku radi. Potencijalni kritičari jednostavno odustati u frustracija. The Philadelphia Inquirer David Boldt (1999), nakon što je čuo John Lott govoriti o skrivenim oružjem i stope ubistava, i provjeravanje s drugim stručnjacima, požalio da “pokušava da sredi akademske argumente je gotovo zadatak za budale. Možete utopiti u sporovima oko t -statistics, dummy varijable i ‘Poisson’ vs. metode analize podataka ‘najmanjih kvadrata’. ”
Boldt je bio u pravu da se sumnja da su ga namamio u misiju za budale. Postoji, u stvari, nema važne nalaze u sociologiji ili kriminologije koji se ne mogu saopštiti novinarima i kreatorima politike koji nemaju diplome iz ekonometrije. To je vrijeme da prizna da je car nema odjeću. Kada je predstavio sa ekonometrijski model, potrošači treba insistirati na dokaz da se može predvidjeti trendove u, osim podataka koji se koriste za to stvore podataka. Modeli koji ne ovaj test su smeće nauke, bez obzira na to koliko je kompleksna analiza.
REFERENCE
Berk, Richard.A. 1991. Toward a methodology for mere mortals,” Sociological Methodology 21: 315-324.
Boldt, David. 1999. “Study evidence on guns,” Philadelphia Inquirer, December 14. Downloaded on May17, 2000 from: http://www.phillynews.com/inquirer/99/Dec/14/opinion/BOLDT14.htm.
Black, Dan. and Daniel Nagin 1998. Do right-to-carry laws deter violent crime? Journal of Legal Studies 27: 209-219.
Bonner, Raymond and Ford Fessendren. 2000. States with no death penalty share lower homicide rates,” New York Times, September 22. Downloaded from: http://www.nytimes.com/2000/09/22/national/22DEAT.html.
Donohue, John and Steven Levitt. 1999. Legalized Abortion and Crime. Stanford University Law School. Downloaded in August, 2000 from: http://papers.ssrn.com/paper.taf?ABSTRACT_ID=174508.
Fox, James. 2000. Demographics and U.S. homicide, In A. Blumstein and J. Wallman (eds.), The Crime Drop in America, Cambridge University Press, New York, pp. 288-317.
Freedman, David 1991. Statistical models and shoe leather. Sociological Methodology 21: 291-313.
Lott, John. 2000. More Guns, Less Crime: Understanding Crime and Gun Control Laws. University of Chicago Press, second edition with additional analyses.
Lott, John. and John Whitley. 2001. Abortion and crime: Unwanted children and out-of-wedlock births,” Yale Law & Economics Research Paper No. 254. Downloaded on July 9, 2001 from: http://papers.ssrn.com/sol3/papers.cfm?abstract_id=270126.
Marvell, Thomas and Carlisle Moody, C. 1997. The impact of prison growth on homicide. Homicide Studies 1: 205-233.
Zimring, Frank and Gordon Hawkins. 1997. Concealed handguns: the counterfeit deterrent, The Responsive Community 7: 46-60.