Category: Statistics

Original: https://cs.nyu.edu/cs/faculty/shasha/papers/StatisticsIsEasyExcerpt.html

Dennis Shasha i Manda Wilson

Statistika je aktivnost zaključivanja rezultata o populaciji koja je dobila uzorak. Istorijski gledano, knjige o statistici pretpostavljaju osnovnu distribuciju podataka (obično, normalna distribucija) i izvode rezultate pod tom pretpostavkom. Nažalost, u stvarnom životu ne možemo normalno biti sigurni u osnovnu distribuciju. Iz tog razloga, ova knjiga predstavlja pristup statistici neovisan o distribuciji zasnovan na jednostavnoj ideji računanja računanja koja se zove resampling.

Ova knjiga objašnjava osnovne koncepte resamplinga, zatim sistematski predstavlja standardne statističke mjere zajedno sa programima (u jeziku Python) kako bi ih izračunali koristeći resampling, i na kraju ilustrira upotrebu mjera i programa u studiji slučaja. U tekstu se koristi algebra srednjih škola i mnogi primjeri koji objašnjavaju koncepte. Idealni čitalac je savladao barem elementarnu matematiku, voli da razmišlja proceduralno, i udoban je sa kompjuterima.

Osnovna ideja

Pretpostavimo da želite znati da li neki novčić je fer¹. Bacio si ga 17 puta i pojavio se glava, ali samo 2 puta. Kako biste mogli utvrditi da li je razumno vjerovati da je novčić pravedan? (Pravi novčić bi trebalo da dođe do glave sa verovatnoćom 1/2 i repovima sa verovatnoćom 1/2.) Možete tražiti da se izračuna procenat puta za koji biste dobili ovaj rezultat ako je pretpostavka pravednosti bila istinita. Teorija verovatnoće predlaže korišćenje binomne distribucije. Ali možda ste zaboravili formulu ili derivaciju. Tako da ga možete pogledati ili barem zapamtiti ime kako biste dobili softver za to. Neto efekat je da ne biste mnogo razumeli, osim ako niste bili na svojoj teoriji verovatnoće.

Alternativa je da se uradi eksperiment 10.000 puta, gde se eksperiment sastoji od bacanja novčića za koji se zna da je fer 17 puta i pita se koji procenat puta dobijate glave 15 puta ili više. Kada smo vodili ovaj program, procenat je bio dosledno ispod 5 (to jest, ispod 5%, rezultat koji se često koristi za označavanje “neverovatno”), tako da je malo vjerovatno da je novac u stvari fer. Vaša ruka može da vas boli od toga, ali vaš PC će to uraditi za manje od sekunde.

Evo primjera izvođenja ovog koda:

9 out of 10000 times we got at least 15 heads in 17 tosses.
Probability that chance alone gave us at least 15 heads in 17 tosses is 0.0009 .

(9 od 10000 puta dobili smo najmanje 15 glava u 17 bacanja.
Verovatnoća da nam je šansa dala najmanje 15 glava u 17 bacanja je 0,0009.)

Evo i drugog primjera.

Zamislite da smo nekim ljudima dali placebo, a drugi lek. Mjerenje poboljšanja (što je pozitivnije, to bolje)

Placebo: 54 51 58 44 55 52 42 47 58 46

Prijatelj: 54 73 53 70 73 68 52 65 65

Kao što možete vidjeti, lijek izgleda u prosjeku djelotvorniji (prosječno izmjereno poboljšanje je 63,7 za lijek i 50,7 za placebo). Ali da li je ta razlika u proseku stvarna? Statistike zasnovane na formuli bi koristile t-test koji podrazumijeva određene pretpostavke o normalnosti i varijansi, ali mi ćemo pogledati same uzorke i miješati oznake.

Šta to znači može se ilustrovati na sljedeći način. Stavili smo sve ljude u tabelu koja ima dve kolone i oznaku (P za placebo i D za lek).

Miješanje oznaka znači da ćemo uzeti P i D i nasumično ih raspodijeliti među pacijentima. (Tehnički, radimo uniformnu, slučajnu permutaciju kolone oznake.)

Ovo može dati:

Tada možemo pogledati razliku u prosečnoj vrednosti P u odnosu na prosečnu vrednost D ovde. Dobijamo u proseku 59.0 za P i 54.4 za D. Ponavljamo ovu proceduru 10.000 puta i pitamo koji deo vremena dobijamo razliku između leka i placeba većeg ili jednakog izmerenoj razlici od 63.7 – 50.7. = 13. Odgovor u ovom slučaju je ispod 0,001. To je manje od 0,1%. Stoga zaključujemo da je razlika između prosjeka uzoraka stvarna. To je ono što statističari nazivaju značajnim.

Hajde da se vratimo na trenutak. Koje je opravdanje za prebacivanje etiketa? Ideja je jednostavno sljedeća: ako lijek nije imao stvarni učinak, onda bi placebo često davao više poboljšanja nego lijek. Miješanjem etiketa, mi simuliramo situaciju u kojoj neka placebo mjerenja zamjenjuju mjerenja nekih lijekova. Ako bi se uočila prosečna razlika od 13 bi se poklopila ili čak premašila u mnogim od ovih premeštanja, onda lek ne bi mogao da ima efekat izvan placeba. To jest, uočena razlika se mogla desiti slučajno.

Source: http://www.stat.yale.edu/Courses/1997-98/101/binom.htm

U mnogim slučajevima, to je prikladno da rezimiramo grupa nezavisnih zapažanja po broju opservacija u grupi koja predstavlja jedan od dva ishoda. Na primjer, udio pojedinaca u slučajnom uzorku koji podržavaju jedan od dva kandidata političkih odgovara ovom opisu. U ovom slučaju, statistika je broj X birača koji podržavaju kandidata podijeljen sa ukupnim brojem pojedinaca u grupi n. Ovo daje procjena parametra p, udio pojedinaca koji podržavaju kandidata u ukupnoj populaciji.

Binomni distribucija opisuje ponašanje posjeta varijablu X, ukoliko se ispune sledeći uslovi:

1: Broj opservacija n je fiksna.
2: Svaka zapažanje je nezavisna.
3: Svaki posmatranje predstavlja jedan od dva ishoda (“uspjeh” ili “neuspjeh”).
4: Vjerojatnost “uspjeha”, str je isti za svaki ishod.

Ako su ispunjeni ovi uslovi, onda X ima binomnu distribuciju s parametrima n i p, skraćeno B (n, p).

Primjer

Pretpostavimo da pojedinci s određenim genom imaju 0,70 vjerojatnost eventualno ugovaranje određenih bolesti. Ako 100 osoba sa gen sudjelovati u studiji životni vijek, a zatim distribuciju slučajne varijable koja opisuje broj pojedinaca koji će ugovoriti bolest se distribuira B (100, 0.7).

Napomena: distribucija uzorkovanja varijable count je samo dobro opisao binomni distribucije je slučajeva u kojima je znatno veća od veličine uzorka veličine populacije. Kao opće pravilo, binomni distribucija ne treba primijeniti na zapažanja iz jednostavnog slučajnog uzorka (JSU), osim ako je veličina populacije je najmanje 10 puta veća od veličine uzorka.

Da biste pronašli vjerovatnoće iz binomna distribucija, može ih ili direktno izračunati, koristite binomni stol, ili koristite računalo. Broj šestice valjanih po jednom čipu u 20 rolni ima B (20, 1/6) distribucije. Verovatnoća kotrljanja više od 2 šestice u 20 peciva, P (X> 2), iznosi 1 – P (X <2) = 1 – (P (X = 0) + P (X = 1) + P ( X = 2)). Koristeći MINITAB naredbu “cdf” sa pomoćni “binomni n = 20 p = 0.166667” daje kumulativni funkcija distribucije kako slijedi:

Dvočlan sa n = 20 i p = 0.166667

         x     P( X <= x)
         0        0.0261
         1        0.1304
         2        0.3287
         3        0.5665
         4        0.7687
         5        0.8982
         6        0.9629
         7        0.9887
         8        0.9972
         9        0.9994

Odgovarajući grafikona za funkciju gustoće vjerojatnosti i kumulativna funkcija distribucije B(20,1/6) prikazane su u nastavku:

S obzirom da je vjerojatnost 2 ili manje šestice jednaka 0,3287, verovatnoća kotrljanja više od 2 šestice = 1-,3287 = 0,6713.

Verovatnoća da slučajna varijabla X s binomna distribucija B (n, p) je jednaka vrijednosti k, gdje je k = 0, 1, …., n, daje , gdje 

Potonji izraz je poznat kao binomni koeficijent, izjavio je “n odabrati k” ili broj mogućih načina da se izabere k “uspjeh” iz n zapažanja. Na primjer, broj načina da se postigne 2 glave u setu od četiri bacanja je “4 odabrati 2”, ili 4!/2! 2! = (4 * 3)/(2 * 1) = 6. Mogućnosti su {HHTT, HTHT, HTTH, TTHH, THHT, THTH}, gdje je “H” predstavlja glavu i “T” predstavlja rep. Binomni koeficijent uvećava vjerojatnost jedan od tih mogućnosti (što je (1/2) ² (1/2) ² = 1/16 za fer novčića) po broju načine može postići ishod, za ukupno vjerojatnost od 6/16.

Znači i varijance dvojno distribucije

Binomni distribucija slučajne varijable X s parametrima n i p predstavlja zbroj n nezavisnih varijabli Z koja može pretpostaviti vrijednosti 0 ili 1. Ako je vjerojatnost da svaki Z varijabla pretpostavlja vrijednost 1 jednaka p, onda je sredstvo svaku varijablu iznosi 1 * p + 0 * (1-p) = p, a varijanca jednaka je p (1-p). Dodavanjem svojstva za nezavisne slučajne varijable, srednja i varijance binomni distribucija jednak zbiru sredstava i odstupanja od n nezavisnih Z varijabli, tako da

Ove definicije su intuitivno logično. Zamislite, na primjer, 8 flips novčića. Ako je novčić je fer, a zatim p = 0,5. Očekivalo bi se srednji broj grla da bi pola flips, ili np = 8 * 0,5 = 4. varijanca jednaka np (1-p) = 8 * 0,5 * 0,5 = 2.

Uzorak proporcije

Ako znamo da je broj X “uspjeha” u grupi n zapažanja sa uspjeh vjerojatnost p ima binomna distribucija sa srednjom np i varijance np (1-p), onda smo u stanju da izvedemo informacije o distribuciji uzorka proporcija , brojim do uspjeha X podijeljena brojem opservacija n. Do multiplikativni svojstva srednje, srednje distribucije X/n jednak je sredstvo X podijeljena n, ili np/n = p. Ovo dokazuje da je proporcija uzorka je nepristran procjenitelj stanovništva udio p. Odstupanje od X/n je jednak varijance X podijeljena N², ili (np (1-p))/N² = (p (1-p))/n. Ova formula pokazuje da kao veličina povećava uzorka, varijance smanjuje.

U primjeru kotrljanja šest-sided umrijeti 20 puta, verovatnoća p kotrljamo šest na bilo roll je 1/6, a broj X šestica ima (20, 1/6) distribucija B. Srednja ove distribucije je 20/6 = 3.33, a varijanca je 20 *: 1/6 * 5/6 = 100/36 = 2.78. Srednje proporcije šestice u 20 rolni, X/20, je jednaka p = 1/6 = 0.167, a varijanca proporcije je jednaka (1/6 * 5/6)/20 = 0,007.

Normalno aproksimacije za tačkama i proporcije

Za velike vrijednosti n, distribucija prebrojavanja X i proporcija uzorka približno normalno. Ovaj rezultat proizlazi iz Centralne granični teorem. Srednje i varijance za približno normalnu distribuciju X su np i np (1-p), identična je srednja i varijance binomni (n, p) distribucije. Isto tako, srednja i varijance za otprilike normalne distribucije uzorka proporcije su p i (p (1-p)/n).

Napomena: Budući da normalno aproksimacija nije precizan za male vrijednosti n, dobro pravilo je da se koriste normalne aproksimacije samo ako np> 10 i np (1-p)> 10.

Na primjer, razmislite o populaciji birača u datoj državi. Pravi udio birača koji preferiraju kandidat A je jednak 0,40. S obzirom na uzorku od 200 birača, što je vjerojatnost da je više od polovine birača podržava kandidata A?

Grof X birača na uzorku od 200 koji podržavaju kandidata A se distribuira B (200,0.4). Srednja distribucije iznosi 200*0,4 = 80, a varijanca jednaka je 200*0,4*0,6 = 48. Standardna devijacija je kvadratni korijen varijance, 6.93. Vjerovatnoća da više od polovine birača u uzorku podrške kandidat A jednaka je vjerojatnost da je X veći od 100, što je jednako 1- P (X <100).

Da biste koristili normalne aproksimacije izračunati ova vjerovatnoća, prvo treba priznati da je normalna distribucija je neprekidna i primijeniti korekciju kontinuitet. To znači da je verovatnoća za jednu diskretne vrijednosti, kao što su 100, proširena je na verovatnoća intervala (99.5,100.5). Jer nas zanima u vjerojatnost da X je manji od ili jednak 100, normalna aproksimacija se odnosi na gornju granicu intervala, 100.5. Ako smo bili zainteresirani za vjerojatnost da X je strogo manje od 100, onda bi primijeniti normalne aproksimacije na donjem kraju intervala, 99.5.

Dakle, primjenom korekcija kontinuitet i standardizaciju varijable X daje sljedeće:

1 – P(X< 100)
= 1 – P(X< 100.5)
= 1 – P(Z< (100.5 – 80)/6.93)
= 1 – P(Z< 20.5/6.93)
= 1 – P(Z< 2.96) = 1 – (0.9985) = 0.0015. S obzirom da je vrijednost 100 je skoro tri standardne devijacije od srednje 80, verovatnoća posmatranjem posjeta ovako visok je izuzetno mali.

Source: http://groups.csail.mit.edu/mac/users/rauch/worktime/

Erik Rauch

Šta ako, umjesto korištenja povećava produktivnost kupiti više stvari, njih smo koristili da bi dobili više vremena umjesto toga?

Produktivnost je eksponencijalno raste za više od jednog stoljeća. Ovo je jedan od najznačajnijih dostignuća svih vremena. Do prije nekoliko desetljeća, ovaj bounty se koristi i za povećane materijalne udobnosti i više vremena. Međutim, u posljednjih nekoliko desetljeća, rast se koristi isključivo za kupovinu više stvari; sati su zapravo porasla u SAD-u. U međuvremenu, bilo je malo povećanje u subjektivnom dobrobiti u razvijenim zemljama u posljednjih nekoliko desetljeća.

U prosjeku radnik treba raditi samo 11 sati tjedno proizvesti onoliko koliko jedan radni 40 sati sedmično u 1950. (Podaci ovdje je iz SAD-a, ali je povećanje produktivnosti u Europi i Japanu su iste veličine.) zaključak je neizbježan: ako produktivnost išta znači, radnik bi trebao biti u mogućnosti da zaradite isti životni standard kao 1.950 radnika u samo 11 sati tjedno. U nastavku se prikazuje broj sati tjedno potrebnih za proizvodnju čak 1950 radnika, koristeći podatke iz Američkog biroa za statistiku rada, uključujući i manufacuring i usluge:

Drugim riječima, broj sedmičnih sati potrebnih za izradu rezultata 1950 radnika smanjen je za gotovo jedan sat godišnje sve do sredine 1970-ih godina, i od tada je u padu za oko pola sata godišnje.

Ankete i istraživanja su pokazala da ljudi u zemljama sa životnog standarda da SAD uživali u 1950-ih nisu ništa manje zadovoljni od današnjih Amerikanaca. I zaista, mnoge studije pokazuju da se povećava prihod ljudi subjektivno blagostanje samo do trenutka kada su ispunjeni osnovne potrebe. Međutim, produktivnost je povećana toliko da možemo imati i dodatni imovine i dodatno vrijeme. Čak i od 1975. godine, navodno doba niskog rasta produktivnosti i stagnacije životnog standarda, službeno mjeriti produktivnost je povećana gotovo 70%. Prosječna radnik bi, dakle, treba da rade samo 23 sati tjedno proizvesti što više rade kao nedavno kao 1975:

I, ako je mjera produktivnosti imaju smisla, prosječan radnik može imati 29-sati sedmično, ako je on zadovoljan sa proizvodnjom čak 40-satni radnik kao nedavno kao 1990. godine.

Brz rast produktivnosti nije potrebno za smanjenje radnog vremena

Mnogo je izrađen od stope rasta produktivnosti i njen odnos prema radniku blagostanje. Zanemarena je mnogo važnije stvari: jer je produktivnost raste već tako dugo, to je sada toliko visoka da se može nam omogućiti da oštro smanjili radnog vremena, zadržavajući visok materijalni standard života. Najvažnija stvar je ne koliko brzo produktivnost raste, ali da je već dovoljno visoka. Ne moramo čekati na buduće povećava produktivnost: potrebne povećava već dogodilo.

Kraći sati i pojam napretka

Zanimljivo je da, kao što je članak o notama povijest rada, kraće radno pretpostavlja se da je prirodna posljedica povećanje produktivnosti u SAD-u do 1930. godine, koji se pojavljuju u platformi svih velikih stranaka, a iznad pokazuje kako bi radne nedelje evoluirali imali trend je nastavljen i nakon Drugog svjetskog rata. U Evropi, smanjenje vremena rada i dalje je problem, a radne nedelje je u padu u posljednje vrijeme, za razliku od SAD-a. Međutim, čak iu Evropi, pad radnog vremena je pao daleko iza povećanje produktivnosti.

Tko ima koristi od povećanja produktivnosti

Prema službenim statističkim podacima, udio “rad je” od nacionalnog dohotka u SAD-u je ostala konstanta u posljednjih 50 godina. “Rad”, međutim, uključuje sve do Bill Gates. Je uznemirujuće porast nejednakosti prihoda u SAD-u znači da mnogi ljudi ne dijele u korist povećanja produktivnosti. Međutim, potencijal je tu. Osim toga, porast nejednakosti je uglavnom američki fenomen: to se nije desilo, ili je došlo na mnogo manjem obimu, u drugim razvijenim zemljama.
zaključak

Marš produktivnosti je takav da njegovo povećanje u čak i kratkom vremenskom razmaku kao deset godina mogu se koristiti kako bi se drastično smanjiti radnog vremena dok je životni standard ostala ista.

Postskriptum

Koliko dugo rast može nastaviti? Čak i ako su nastavljeni navodno spor stopa rasta u posljednje vrijeme, produktivnost bi se povećala 120% u narednih 50 godina, a 2050 radnika bi trebalo raditi 15 sati da imaju isti realni dohodak kao 1990. radnik (ili manje od 6 sati da imaju iste prihode kao 1950 radnika):

Naravno, tu smo možda protezao korisnost zvanična definicija produktivnosti previše daleko, a eksponencijalni rast ne može zauvijek nastaviti, ali ipak produktivnost mjeri, povećanje i njegov odnos sa potencijal za radne nedelje smanjenje je prevelik ignorisati.

Vidi također:

Radne nedelje smanjenje Ekvivalent: mjera potencijalnog ekonomskog napretka

Rasprava o vrijednosti statistike produktivnosti iz jedne perspektive – da su potcenili rast.

Statistički podaci iz njemačke Federacije sindikata trgovine pokazuju kako produktivnost je omogućio kraće radno vrijeme u Njemačkoj (iako samo manjina povećanja je uzeta u obliku kraće sati). Stranica je na njemačkom jeziku, ali četiri linije, od vrha do dna: produktivnost po satu, BDP-a, ukupan broj radnika, a godišnji broj sati rada po zaposlenom.

Šef njemačke Saveza sindikata poziva na 25-satni tjedan (prevedena na engleski).

Affluenza lijek poziva na političku akciju: Različiti standard za radnu nedjelju priliku. John De Graaf, The Denver Post, 25. oktobar., 2001

Source: http://crab.rutgers.edu/~goertzel/mythsofmurder.htm

Ted Goertzel

Rutgers University, Camden, NJ 08102

Objavljeno u “The Skeptical Inquirer”, Knjiga 26, No 1, Januar/Februar 2002, str. 19-23.
Španjolski prijevod kao “El Modelo Econometrico Como Ciencia Basura,” u Psicologia Politica, No 24 (Valencia, Španija).

Ako želite duži, više tehničkih verzija ovog rada, u Word formatu, kliknite ovdje.

Vjerujete li da svaki put kada se zatvorenik se izvršava u Sjedinjenim Američkim Državama, osam budućnost ubistva odvratila? Vjerujete li da je povećanje od 1% u broju građana dozvolu za nošenje skriveno oružje uzrokuje smanjenje od 3,3% u stopi države ubistvo? Vjerujete li da 10 do 20% pada kriminala u 1990. je uzrokovan povećanjem abortusa u 1970-ih godina? Ili da je stopa ubistava od 1974. godine porasla bi za 250% ako su Sjedinjene Države ne gradi toliko novih zatvora?

Ako ste bili zavedeni bilo koji od ovih studija, možda su pale za poguban oblik smeća nauke: korištenje matematičkih modela bez pokazala prediktivne mogućnosti da bi privukli zaključke politike. Ove studije su površno impresivni. Napisao uglednih društvenih nauka iz prestižnih institucija, oni se često pojavljuju u recenziji naučnim časopisima. Ispunjen sa složenim statističkim proračunima, daju precizne numeričke “činjenice” koje se mogu koristiti kao točke debatanata ‘u argumentima politike. Ali ove “činjenice” su će o ‘the pramenovi. Prije mastilo osuši na jednoj studiji, drugi se pojavljuje s potpuno različitim “činjenice”. Uprkos svojim naučnim izgledu, ovi modeli ne ispunjavaju osnovni kriterijum za koristan matematički model: sposobnost da se predviđanja da su bolji nego slučajnost.

Iako ekonomisti su vodeći praktičari ove tajanstvene umjetnosti, sociologa, kriminolozi i drugi sociolozi imaju verzije kao i. On je poznat po različitim imenima, uključujući i “ekonometrijskih modeliranje”, “strukturalne modeliranje jednadžbe,” i “analiza put.” Sve su to načini pomoću korelacije između varijabli da kauzalne zaključke. Problem sa ovim, kao i svako ko je imao naravno u statistici zna, je da korelacija nije uzročnost. Korelacije između dvije varijable su često “lažne”, jer su uzrokovane nekim treće varijable. Ekonometrijskih modelari pokušavaju da prevaziđu ovaj problem, uključujući sve relevantne varijable u svojim analizama, koristeći statističke tehnike pod nazivom “višestruke regresije.” Ako jedan je imao savršen mjera svih uzročne varijable, to bi raditi. Ali podaci nikad nisu dovoljno dobri. Ponovljeni napori da se koriste višestruke regresije za postizanje konačne odgovore na pitanja javne politike nisu uspjeli.

Međutim, mnogi sociolozi su nerado priznaju neuspjeh. Oni su posvetili godina na učenje i modeliranje nastave regresije, a oni i dalje koriste regresije da uzročne argumente koje nije opravdano njihovi podaci. Zovem te argumente mitove višestruke regresije, i ja bih da iskoristim četiri studije stopa ubistva kao primjere.

Mit jedan: više puške, manje kriminala.

John Lott, ekonomista na Univerzitetu Yale, koristio ekonometrijski model tvrditi da “omogućava građanima da nose skriveno oružje odvraća nasilnih zločina, bez povećanja slučajnog smrti.” Lott analiza uključeni “donosi” zakone koji zahtijevaju lokalne vlasti da izdaju skrivenog oružja dopustiti da bilo koji građanin koji poštuju zakon koji važi za jednog. Lott Procjenjuje se da svaki rast jedan posto u vlasništvu pištolj u populaciji uzrokuje smanjenje od 3,3% u stopama ubistva. Lott i njegov koautor, David Senf je pisao prvu verziju svog studija na internetu u 1997. i desetine hiljada ljudi preuzeli to. To je bio predmet političkih foruma, novinske kolumne, a često i vrlo sofisticirane rasprave na World Wide Webu. U knjizi sa privlačan naslov Više Guns, manje kriminala, Lott rugali njegovi kritičari, optužujući ih za stavljanje ideologije ispred nauke.

Lott rad je primjer statističkih jednom upmanship. On ima više podataka i složenije analize nego bilo ko drugi proučava temu. On zahtijeva da svako ko želi da ospori svoje argumente postati uronjen u vrlo složene statističke rasprave, na osnovu proračuna tako teško da se oni ne mogu učiniti s običnim desktop računarima. On izaziva svako ko se ne slaže s njim preuzeti svoj set podataka i ponovite svojim proračunima, ali većina sociolozi ne mislim da je vrijedno njihove dok replicirati studije koristeći metode koje su u više navrata nije uspio. Većina istraživača kontrolu oružja jednostavno odbacio tvrdnje Lott i senfa i nastavio sa svojim radom. Dva visoko poštovan krivičnog istraživači pravosuđa, Frank Zimring i Gordon Hawkins (1997) napisao je članak objašnjavajući da:

baš kao gospoda Lott i Mustard može, uz jedan model determinanti ubistva, proizvesti statistički ostaci ukazuje na to da ‘izdaje’ zakone smanjiti ubistvo, očekujemo da odlučno ekonometrista može proizvesti tretman istih istorijskih perioda sa različitim modelima i suprotan efekat. Ekonometrijski modeliranje je dvosjekli mač u svoje kapacitete kako bi se olakšalo statističke zaključke zagrijati srca istinski vjernici bilo koje trake.

Zimring i Hawkins bili u pravu. U roku od godinu dana, dva odlučna ekonometri, Dan Black i Daniel Nagin (1998) objavio je studiju koja pokazuje da, ako su promenili statistički model malo, ili primjenjuje se na različite segmente podataka, Lott i nalazi Senf je nestao. Crno i Nagin otkrili da kada je Florida uklonjen iz uzorka nije bilo “ne otkriti utjecaj zakona pravo za nošenje na stopu ubistva i silovanja.” Oni su zaključili da “zaključak na osnovu modela Lott i Senf je neprikladno, a njihovi rezultati ne mogu se koristiti odgovorno za formulisanje javnih politika.”

John Lott, međutim, sporno njihova analiza i nastavio promovirati svoju. Lott je prikupio podatke za svaku od Amerike okruga za svaku godinu od 1977. do 1992. godine problem sa ovim je da se u Americi županije varira strahovito u veličini i socijalne karakteristike. Nekoliko velikih, koji sadrži velikih gradova, čine veliki procenat ubistava u Sjedinjenim Američkim Državama. Kao što se događa, nijedna od tih vrlo velike županije imaju “izdaje” kontrola zakone o oružju. To znači da je velik skup podataka Lott je jednostavno neprikladan za svoj zadatak. On je imao varijacija u njegovoj ključnim uzročna varijabla – “donosi” zakone – na mjestima gdje je došlo najviše ubistava.

On nije spomenuo ovo ograničenje u svojoj knjizi ili članke. Kada sam otkrio nedostatak “izdaje” zakone u većim gradovima u svom ispitivanju svoje podatke, pitao sam ga o tome. On je slegnuo ramenima ga, rekavši da je “pod kontrolom” za veličinu populacije u svojoj analizi. Ali uvođenjem statističke kontrole u matematičke analize nije da se zbog činjenice da je on jednostavno nije imao podatke za velikim gradovima gdje je problem ubistva bio najizraženiji.

Trebalo mi je neko vrijeme da se ovaj problem u svoje podatke, jer nisam bio upoznat sa kontroli oružja pitanje. Ali Zimring i Hawkins odmah nuli u tome jer su znali da “izdaje” zakoni su pokrenuti u državama u kojima Nacionalne Rifle Association je moćan, uglavnom na jugu, zapadu i u ruralnim područjima. To su bile države koje već ima nekoliko ograničenja na oružje. Oni su primetili da je taj zakonodavni povijest frustrira “naš kapacitet za usporedbu trendova u ‘izdaje’ država s trendovima u drugim državama. Budući da je država koja je promijenila zakoni se razlikuju u lokaciji i ustav iz država koje nisu, poređenja preko zakonodavni kategorijama će uvijek rizikuju zbunjujuće demografske i regionalne utjecaje sa uticajem ponašanja različitih pravnih režima. ” Zimring i Hawkins dalje primetio da:

Lott i Mustard su, naravno, svjesni ovog problema. Njihovo rješenje, standardne ekonometrijskih tehnika, je da se izgradi statistički model koji će kontrolirati za sve razlike između Idaho i New Yorku koji utiču na ubistva i kriminala stope, osim zakona “izdaje”. Ako se može “odrediti” velikih uticaja na ubojstvo, silovanje, provala, i auto krađe u našem modelu, onda možemo eliminirati utjecaj tih faktora na različitim trendovima. Lott i Senf izgraditi modele koji procjenjuju efekte demografskih podataka, ekonomski podaci, i krivično kažnjavanje na razne prekršaje. Ovi modeli su vrhunski u statističkim domaćom kuhinjom u da su stvoreni za ove podatke koje je postavila ovih autora i samo testirana na podacima koji će se koristiti u procjeni uticaja pravo-na-nositi.

Lott i Mustard su poređenja trendova u Idaho i West Virginia i Mississippi s trendovima u Washingtonu, da kapo i New Yorku. Ono što se zaista dogodilo je da je došlo do eksplozije ubistava pukotine u vezi u glavnim istočnim gradovima u 1980-ih i ranih 1990-ih. Lott je cijeli argument je došao do tvrdnje da je u velikoj mjeri ruralnog i zapadni “izdaje” država bili pošteđeni epidemije ubistvo pukotine u vezi zbog “izdaje” zakone. To nikada ne bi bio shvaćen ozbiljno ako nije zaklonjen lavirint jednadžbi.

Mit dva: zatvaranje više ljudi smanje kriminala

Slučaj Lott i Mustard je bio izuzetan samo u iznosu od pažnje javnosti je primila. To je sasvim uobičajeno, čak i tipično, za rivala studija koji će biti objavljen pomoću ekonometrijskih metoda do suprotne zaključke o istom pitanju. Često ne postoji ništa vidljivo u redu sa bilo kojim od analize. Oni jednostavno koriste neznatno različite skupove podataka ili različite tehnike za postizanje različitih rezultata. Čini se kao da je regresija modelari može postići bilo koji rezultat žele bez kršenja pravila analize regresije na bilo koji način. U jednom izuzetno iskren iskaz nezadovoljstva sa ovog stanja, dva veoma poštuju kriminolozi, Thomas Marvell i Carlisle Moody (1997: 221), prijavio na recepciji studije su učinili efekta zatvora stopa ubistava. prijavili su da su:

široko distribuiran [njihove] nalazima, zajedno s podacima koji se koriste, kolegama koji su specijalizovani u kvantitativna analiza. Najčešći odgovor je da oni odbijaju da vjeruju rezultatima, bez obzira koliko je dobar statističke analize. Iza da tvrdnja je pojam, često razgovarao neformalno, ali rijetko objavio, da sociolozi mogu dobiti bilo koji rezultat željeni manipulacijom postupaka koji se koriste. U stvari, širok spektar procjene koje se odnose na utjecaj zatvora populacije uzima kao dobar dokaz o povodljivosti istraživanja. Implikacija, čak i među mnogim koji redovno objavljuje kvantitativne studije, je da bez obzira na to koliko je temeljita analiza, rezultati nisu vjerodostojne, osim ako su u skladu s prethodnim očekivanjima. Istraživanje disciplina ne može uspjeti u takav okvir.

Da bi njihova velika zasluga, Marvell i Moody iskreno priznao problema sa višestruke regresije, i napravio neke prijedloge za poboljšanje. Nažalost, neki ekonometri postati toliko uronjen u svoje modele da izgube pojam o tome kako proizvoljne su. Oni dolaze u vjeruju da su njihovi modeli su pravi, više važi, nego neuredna, neposlušne, “nekontrolisano” stvarnosti oni tvrde da objasni.

Mit tri: izvršavanje ljudi smanje kriminala

U 1975 “The American Economic Review” objavio članak vodeći ekonomista Isaac Ehrlich na univerzitetski od Mičigen, koji procjenjuje da svaki izvršenje odvratiti osam ubistava. Prije Ehrlich, najpoznatiji specijalista o efikasnosti smrtne kazne bio je Thorsten Selen, koji su koristili mnogo jednostavniji način analize. Selen je pripremio grafikone u odnosu trendove u različitim državama. Otkrio je malo ili nikakve razlike između država sa ili bez smrtne kazne, jer on je zaključio da je smrtna kazna napravio nikakvu razliku. Ehrlich, u čin statističkih jednom upmanship, tvrdio da je njegova analiza nije bio valjan, jer je pod kontrolom za sve faktore koji utiču na stope ubistva.

Čak i prije nego što je objavljen, Ehrlich rad je citiran od strane Javni tužilac Sjedinjenih Američkih Država i amicus curiae podnio Vrhovnom sudu SAD-a u odbrani smrtne kazne. Srećom, Sud je odlučio da se ne oslanjaju na Ehrlich iskaza jer nije potvrđeno od strane drugih istraživača. To je bilo mudro, jer je u roku od godinu ili druga dva istraživača objavio jednako sofisticirane ekonometrijske analize pokazuju da je smrtna kazna nije imala efekta odvraćanja.

Kontroverza oko Ehrlich rad je toliko važno da National Research Council sazvao plavu vrpcu panel stručnjaka da ga pregleda. Nakon vrlo detaljnog pregleda, Komisija je odlučila da problem nije bio samo s modelom Ehrlich, ali sa idejom korištenje ekonometrijskih metoda za rješavanje kontroverze zločinačku politiku pravosuđa. Oni (Manx, 1978: 422) je zaključio da:

jer su podaci će vjerovatno biti na raspolaganju za takve analize imaju ograničenja i zbog kriminalnog ponašanja može biti tako složen, pojava definitivni studije ponašanja laže da se odmori sve kontroverze o efektima ponašanja odvraćanja politika ne treba očekivati.

Većina stručnjaka sada vjeruju da Sellen je bio u pravu, da smrtna kazna nema očitih učinak na stopu ubistava. Ali Ehrlich nije uvjerio. On je sada usamljen istinski vjernik u ispravnost svojih modela. U nedavnom intervjuu (Bonner i Fessendren, 2000), on je insistirao, “ako varijacije kao što su nezaposlenost, nejednakost prihoda, vjerovatnoća hapšenja i spremnosti za korištenje smrtne kazne su činili, smrtnu kaznu pokazuje značajan učinak odvraćanja.”

Mit četiri: legalizovano abortus skrivio kriminala kap u 1990.

Godine 1999., John Donohue i Steven Levitt objavio studiju sa roman objašnjenje oštar pad stope ubistava u 1990-ih. Tvrdili su da je legalizacija abortusa je Vrhovni sud Sjedinjenih Američkih Država 1973. godine izazvao je pad rađanja neželjene djece, nesrazmjeran broj od kojih bi odrastao biti kriminalci. Problem sa ovim argument je da je legalizacija abortusa je istorijski događaj jednokratni i jednokratni događaji ne pružaju dovoljno podataka za valjanu regresije analize. Istina je da je abortus je ranije legalizovan u nekim državama u odnosu na druge, a Donohue i Levitt iskoristiti tu činjenicu. Ali, sve te države su prolaze kroz iste istorijske procese, i mnoge druge stvari koje su se dešavale u istom istorijskom periodu da izvrši stope ubistvo. A važi regresija analiza će morati da snimite sve ove stvari, i da ih testiraju pod širok spektar varijacija. Postojeći podaci ne dozvoljavaju da, tako da se rezultati analize regresije će varirati ovisno o kojoj se podaci odabrane za analizu.

U ovom slučaju, Donohue i Levitt odlučio da se fokusira na promjene u vremenskom rasponu od dvanaest godina, zanemarujući fluktuacije unutar tih godina. Na taj način, kao James Fox. (2000: 303) ističe, “oni većina smjene u zločinu propustili u tom periodu – uzlazni trend tokom kasnih 1980-tih pukotina ere i korekcije u post-crack godina Ovo je nešto poput proučavanja efekata faza moon na oceanske plime, ali samo za snimanje podataka za period oseke. ”

Kada sam pisao ovaj članak, uključen sam rečenicu navodeći “uskoro još regresija analitičar će vjerojatno ponovnu analizu iste podatke i do različitih zaključaka.” Nekoliko dana kasnije, moja supruga mi je dao novinama priča o samo takve studije. Autor je bio niko drugi nego John Lott Yale, zajedno sa John Whitley Univerziteta u Adelaide. Oni crunched isti broj i zaključio da “legalizaciju stope ubistava abortusa povećan za oko oko 0,5 na 7 procenata” (Lott i Whitely, 2001).

Zašto takav značajno različite rezultate? Svaki set autora jednostavno izabrali drugačiji način za modeliranje neadekvatan tijelo podataka. Ekonometrija ne može napraviti važi opšti zakon iz istorijske činjenice da je abortus je legalizovan u 1970. i kriminala pao u 1990. Trebalo bi nam barem nekoliko desetaka takvih istorijskih iskustava za valjanu statistički test.

Zaključci.

Pravi test u statističkim modeliranja je predviđanje. Predviđanje ne mora biti savršen. Ako se model može predvidjeti znatno bolje nego nasumično pogađanja, to je korisno. Na primjer, ako je model mogao predvidjeti cijene dionica čak i malo bolji od slučajnih pogađanja, da bi svojim vlasnicima vrlo bogat. Dakle, mnogo truda je otišao u testiranje i vrednovanje modela cijene dionica. Nažalost, istraživači koji koriste ekonometrijske tehnike za procjenu socijalne politike vrlo rijetko podvrgavaju svoje modele na prediktivni testove. Njihov izgovor je da je potrebno previše vremena za ishode da se zna. Ne dobiti nove podatke o siromaštvu, abortus ili ubistva svakih nekoliko minuta kao i ti sa cijene dionica. Ali istraživači mogu učiniti prediktivnog testiranja na druge načine. Oni mogu razviti model na osnovu podataka iz jedne jurisdikcije ili vremenski period, a zatim ga koristiti za predviđanje podacima iz drugih vremena i mjesta. Ali, većina istraživača jednostavno ne radi to, ili ako oni modeli ne i rezultati nikada nisu objavljeni.

Časopisa koji objavljuju ekonometrijske studije o pitanjima javne politike često ne zahtijevaju prediktivni testiranje, što pokazuje da su urednici i recenzenti imaju nizak očekivanja za svoja polja. Dakle, istraživači su uzeti podatke za određeno vrijeme i zadržati fino podešavanje i podešavanje njihov model sve dok oni mogu “objasniti” trendove koji su već dogodilo. Uvijek postoje više načina da se to uradi, i sa modernim kompjuterima nije strašno teško držati pokušavaju dok ne pronađete nešto što se uklapa. U tom trenutku, istraživač zaustavlja, piše se nalaze, i šalje papir off za objavljivanje. Kasnije, drugi istraživač može prilagoditi model dobiti drugačiji rezultat. To ispunjava stranice naučnih časopisa, i svi su se pretvara da se ne da malo primijetiti ili je postignut nikakav napredak. Ali mi se ne bliži imaju važeću ekonometrijski model danas stope ubistva nego što smo bili kada je Isaac Ehrlich objavio prvi model u 1975.

Naučna zajednica nema dobre procedure za priznavanje neuspjeha široko koristi istraživanje metoda. Metode koje su ukopani u diplomske programe na vodećim univerzitetima i objavljeni u prestižnim časopisima imaju tendenciju da se ponavljaju. Mnogi laici pretpostavljaju da, to je važeća ako je studija objavljena u peer časopisu. Slučajevi smo ispitali pokazuju da to nije uvijek slučaj. Peer review osigurava da uspostavljena praksa su pratili, ali to je malo pomoći kada se ta praksa u kvaru.

Godine 1991., David Freedman, istaknuti sociolog na University of California u Berkeleyu i autor udžbenika na kvantitativnih metoda istraživanja, protresao temelje modeliranja regresije kada je iskreno rekao: “Ja ne mislim da je regresija može nositi veći teret u . uzročna argument Niti regresije jednadžbe, sami po sebi, dati puno pomoći u kontroli za zbunjujućih varijabli “(Freedman, 1991: 292). Freedman članak izazvala brojne snažne reakcije. Richard Berk (1991: 315) primijetio da Freedman argument “će biti vrlo teško za većinu kvantitativnih sociologa da prihvati to ide u srce svojih empirijskih preduzeća i na taj način, stavi cijelu profesionalnu karijeru u opasnost.”.

Suočeni sa kritičarima koji žele neki dokaz da mogu predvidjeti trendove, regresija modelari često pasti na statističkim jednom upmanship. Prave argumente tako kompleksan da samo drugi visoko obučeni regresije analitičari mogu razumjeti, a kamoli pobije ih. Često ovu tehniku ​​radi. Potencijalni kritičari jednostavno odustati u frustracija. The Philadelphia Inquirer David Boldt (1999), nakon što je čuo John Lott govoriti o skrivenim oružjem i stope ubistava, i provjeravanje s drugim stručnjacima, požalio da “pokušava da sredi akademske argumente je gotovo zadatak za budale. Možete utopiti u sporovima oko t -statistics, dummy varijable i ‘Poisson’ vs. metode analize podataka ‘najmanjih kvadrata’. ”

Boldt je bio u pravu da se sumnja da su ga namamio u misiju za budale. Postoji, u stvari, nema važne nalaze u sociologiji ili kriminologije koji se ne mogu saopštiti novinarima i kreatorima politike koji nemaju diplome iz ekonometrije. To je vrijeme da prizna da je car nema odjeću. Kada je predstavio sa ekonometrijski model, potrošači treba insistirati na dokaz da se može predvidjeti trendove u, osim podataka koji se koriste za to stvore podataka. Modeli koji ne ovaj test su smeće nauke, bez obzira na to koliko je kompleksna analiza.

REFERENCE

Berk, Richard.A. 1991. Toward a methodology for mere mortals,” Sociological Methodology 21: 315-324.
Boldt, David. 1999. “Study evidence on guns,” Philadelphia Inquirer, December 14. Downloaded on May17, 2000 from: http://www.phillynews.com/inquirer/99/Dec/14/opinion/BOLDT14.htm.
Black, Dan. and Daniel Nagin 1998. Do right-to-carry laws deter violent crime? Journal of Legal Studies 27: 209-219.
Bonner, Raymond and Ford Fessendren. 2000. States with no death penalty share lower homicide rates,” New York Times, September 22. Downloaded from: http://www.nytimes.com/2000/09/22/national/22DEAT.html.
Donohue, John and Steven Levitt. 1999. Legalized Abortion and Crime. Stanford University Law School. Downloaded in August, 2000 from: http://papers.ssrn.com/paper.taf?ABSTRACT_ID=174508.
Fox, James. 2000. Demographics and U.S. homicide, In A. Blumstein and J. Wallman (eds.), The Crime Drop in America, Cambridge University Press, New York, pp. 288-317.
Freedman, David 1991. Statistical models and shoe leather. Sociological Methodology 21: 291-313.
Lott, John. 2000. More Guns, Less Crime: Understanding Crime and Gun Control Laws. University of Chicago Press, second edition with additional analyses.
Lott, John. and John Whitley. 2001. Abortion and crime: Unwanted children and out-of-wedlock births,” Yale Law & Economics Research Paper No. 254. Downloaded on July 9, 2001 from: http://papers.ssrn.com/sol3/papers.cfm?abstract_id=270126.
Marvell, Thomas and Carlisle Moody, C. 1997. The impact of prison growth on homicide. Homicide Studies 1: 205-233.
Zimring, Frank and Gordon Hawkins. 1997. Concealed handguns: the counterfeit deterrent, The Responsive Community 7: 46-60.