Szum ebook

Dla Nogi, Oriego i Gili – DK

Dla Fantina i Lélii – OS

Dla Samanthy – CRS

Wprowadzenie

Dwa rodzaje błędów

Wyobraźmy sobie, że cztery grupy znajomych poszły na strzelnicę. Każdy z zespołów składa się z pięciu osób i strzela z tego samego karabinu, a każda osoba oddaje jeden strzał. Rysunek 1 pokazuje ich trafienia.

W idealnej sytuacji każdy strzał trafiałby w środek tarczy.

Zespołowi A prawie się to udało. Trafienia tego zespołu skupiają się ciasno wokół środka tarczy, czyli są bliskie ideału.

O strzałach zespołu B powiemy, że cechuje je tendencyjność, bo chybiają celu w sposób systematyczny. Jak widać na rysunku, odchylenie jest spójne, dzięki czemu daje się przewidywać. Gdyby ktoś z tego zespołu miał strzelać jeszcze raz, można by się było założyć, że trafienie wypadnie w tym samym obszarze co pięć poprzednich. Spójność tej tendencji zarazem każe się doszukiwać wyjaśnienia przyczynowo-skutkowego: może karabin tego zespołu ma skrzywiony celownik?

O strzałach zespołu C powiemy, że są zaszumione (czyli dotknięte szumem), bo trafienia są rozrzucone po całej tarczy. Nie widać tu żadnej wyraźnej tendencyjności, bo trafienia są z grubsza wypośrodkowane na tarczy. Gdyby któryś z członków zespołu oddał kolejny strzał, nie wiedzielibyśmy za bardzo, gdzie może trafić. Co więcej, nie przychodzi nam do głowy żadna interesująca hipoteza na wytłumaczenie wyników zespołu C. Wiemy, że jego członkowie to kiepscy strzelcy. Nie wiemy, dlaczego w ich wynikach jest tyle szumu.

W wynikach zespołu D widać zarówno tendencyjność, jak i szum. Podobnie jak w zespole B, strzały chybiają celu w sposób systematyczny; podobnie jak w zespole C, trafienia są szeroko rozrzucone po tarczy.

Jednak ta książka nie jest o strzelectwie. Jej tematem są ludzkie błędy. Tendencyjność oraz szum – czyli błędy systematyczne oraz losowy rozrzut – są różnymi składnikami błędu. Nasze tarcze strzelnicze ilustrują tę różnicę.

Strzelnica to metafora możliwych błędów w ludzkich osądach, zwłaszcza w najróżniejszych decyzjach i osądach formułowanych w imieniu organizacji. W takich sytuacjach spotykamy oba rodzaje błędów przedstawione na rysunku 1. Niektóre osądy cechuje tendencyjność: chybiają celu w sposób systematyczny. Inne osądy są zaszumione, bo ludzie, którzy powinni się ze sobą zgadzać, ostatecznie trafiają w zupełnie różne miejsca na tarczy. Niestety, wiele organizacji boryka się zarówno z tendencyjnością, jak i z szumem.

Rysunek 2 ilustruje ważną różnicę pomiędzy tendencyjnością a szumem. Widać na nim, jak wyglądałyby tarcze zespołów, gdyby widoczna była tylko ich odwrotna strona, bez zaznaczenia środka celu.

Patrząc na odwrotną stronę tarczy, nie da się powiedzieć, który zespół – A czy B – trafiał celniej. Za to na pierwszy rzut oka widać, że trafienia zespołów C i D są zaszumione, a zespołów A i B – nie. Mało tego, rysunek 2 mówi nam tyle samo o rozrzucie trafień, ile rysunek 1. Ogólną właściwością szumu jest to, że można go rozpoznawać i mierzyć, nie wiedząc nic ani o celu, ani o tendencyjności.

Ta ogólna właściwość jest dla nas kluczowa, bo wiele wniosków w tej książce pochodzi z badań poświęconych osądom, dla których odpowiedź prawidłowa jest nieznana albo wręcz niepoznawalna. Kiedy lekarze stawiają różne diagnozy u tego samego pacjenta, to da się badać różnicę zdań pomiędzy nimi, nawet jeśli nie wiemy, co choremu dolega naprawdę. Kiedy kierownictwo wytwórni filmowej szacuje wielkość rynku dla danego filmu, możemy badać rozrzut ich szacunków, nie wiedząc, ile film rzeczywiście zarobił, ani nawet czy w ogóle powstał. Nie musimy wiedzieć, kto ma rację, żeby zmierzyć, w jakim stopniu różnią się od siebie osądy w danej sprawie. Żeby zmierzyć szum, wystarczy popatrzeć na odwrotną stronę tarczy.

Chcąc rozumieć błędy popełniane w osądach, trzeba zrozumieć zarówno tendencyjność, i szum. Jak się przekonamy, czasami szum jest wręcz ważniejszym problemem. Jednak w debacie publicznej na temat ludzkich błędów – a także w organizacjach jak świat długi i szeroki – szum zauważa się rzadko. Tendencyjność to gwiazda pierwszego planu, a szum gra rolę epizodyczną i najczęściej pozostaje za kulisami. Tendencyjność spowodowana błędami poznawczymi jest przedmiotem tysięcy artykułów naukowych i dziesiątek książek popularnonaukowych, ale mało które z nich wspominają o szumie. Ta książka jest próbą przywrócenia równowagi.

Poziom szumu w rzeczywistych decyzjach jest często szokująco wysoki. Oto kilka przykładów niepokojącej ilości szumu w sytuacjach, w których liczy się dokładność:

● SZUM JEST W MEDYCYNIE. Mając do czynienia z tym samym pacjentem, różni lekarze formułują różne osądy – czy chodzi o nowotwory skóry, nowotwory piersi, choroby serca, gruźlicę, zapalenie płuc, depresję czy mnóstwo innych schorzeń. Szum jest szczególnie wysoki w psychiatrii, gdzie oczywiście ważne są osądy subiektywne. Jednak znaczny stopień szumu znajdujemy również w tak nieoczekiwanych obszarach jak interpretacja zdjęć rentgenowskich.

● SZUM DOTYKA ORZECZEŃ O OPIECE NAD DZIEĆMI. Pracownicy ośrodków pomocy społecznej oceniają, czy dzieci spotyka złe traktowanie w domu rodzinnym, a jeśli tak, to czy powinny trafić pod pieczę zastępczą. Decyzje poszczególnych pracowników są zaszumione w tym sensie, że jedni pracownicy skierowaliby dziecko do rodziny zastępczej, a inni nie. Po latach więcej dzieci bezceremonialnie posłanych do rodzin zastępczych dotykają problemy: niższe zarobki, a także wyższy odsetek przestępczości i ciąż nastoletnich.

● SZUM JEST W PROGNOZACH. Zawodowi progności potrafią się bardzo różnić w prognozach sprzedaży nowego produktu, wzrostu stopy bezrobocia, ryzyka bankructwa spółki borykającej się z problemami – właściwie wszystkiego. Progności nie tylko nie zgadzają się pomiędzy sobą, ale nawet sami ze sobą. Na przykład kiedy deweloperów oprogramowania przy dwóch różnych okazjach poproszono o oszacowanie czasu niezbędnego do ukończenia zadania, ich własne szacunki wymaganej liczby godzin różniły się średnio o 71%.

● SZUM JEST W DECYZJACH DOTYCZĄCYCH AZYLANTÓW. Decyzja o przyznaniu azylu w Stanach Zjednoczonych to coś na kształt loterii. Kiedy zbadano wnioski o azyl losowo przydzielane różnym sędziom, okazało się, że jeden sędzia przyznawał azyl w pięciu procentach przypadków, a inny – w 88%. Tytuł artykułu opisującego badanie mówi sam za siebie: badacze pisali w nim o „uchodźczej ruletce” (ruletka będzie się tu przewijać jeszcze nieraz).

● SZUM JEST W DECYZJACH O ZATRUDNIENIU. Osoby prowadzące rozmowy o pracę bardzo różnie oceniają tych samych kandydatów. Znaczne rozbieżności pojawiają się również w ocenach okresowych, które bardziej zależą od osoby dokonującej oceny niż od rzeczywistych wyników w pracy.

● SZUM JEST W DECYZJACH O ZWOLNIENIU ZA KAUCJĄ. To, czy oskarżona osoba zostanie zwolniona za kaucją, czy też zaczeka na proces w areszcie, w dużej mierze zależy od osoby sędziego. Jedni sędziowie są znacznie bardziej pobłażliwi od drugich. Sędziowie znacznie różnią się też w ocenie tego, u którego oskarżonego istnieje najwyższe ryzyko ucieczki lub recydywy.

● SZUM JEST W KRYMINALISTYCE. Nauczono nas myśleć, że identyfikacja na podstawie analizy odcisków palców jest niezawodna. Jednak czasami eksperci od daktyloskopii różnią się w ocenie, czy odcisk znaleziony na miejscu zbrodni pasuje do linii papilarnych podejrzanego. Eksperci nie tylko nie zgadzają się ze sobą nawzajem – eksperci czasami podejmują różne decyzje, kiedy dwukrotnie oceniają te same odciski. Podobną zmienność udokumentowano też w innych obszarach kryminalistyki, łącznie z analizą DNA.

● SZUM DOTYKA DECYZJI PATENTOWYCH. Jak piszą autorzy najważniejszego badania poświęconego temu zagadnieniu, „o tym, czy urząd patentowy przyzna patent, czy odrzuci wniosek, w istotnym stopniu decyduje to, który pracownik ocenia wniosek”. Naturalnie rodzi to niepokojące pytania na temat sprawiedliwości takich decyzji.

Wszystko to zaledwie czubek dużej góry lodowej. Gdziekolwiek spojrzymy na ludzkie osądy, prawdopodobnie znajdziemy w nich szum. Żeby formułować lepsze osądy, trzeba przezwyciężyć nie tylko błędy poznawcze i uprzedzenia wywołujące tendencyjność, ale także szum.

Nasza książka składa się z sześciu części. W części pierwszej przyjrzymy się różnicy między szumem a tendencyjnością oraz wykażemy, że szum dotyka zarówno organizacji publicznych, jak i firm prywatnych – i to nieraz w stopniu szokującym. Żeby docenić skalę problemu, na początek przyjrzymy się osądom w dwóch obszarach: jednym są wyroki wydawane w procesach karnych (sektor publiczny), drugim ubezpieczenia (sektor prywatny). Na pierwszy rzut oka te dwa obszary różni wszystko, jednak pod względem szumu łączy je wiele. Żeby to wykazać, wprowadzamy pojęcie „audytu szumu”, czyli narzędzia mającego określać rozbieżności w decyzjach fachowców rozpatrujących te same sprawy w obrębie tej samej organizacji.

W części drugiej przyglądamy się naturze ludzkich osądów oraz kwestii mierzenia ich trafności i popełnianych błędów. Osądy są podatne zarówno na tendencyjność, jak i na szum. W tej książce opisujemy uderzającą równoważność obu rodzajów błędów. Szum sytuacyjny to rozbieżności w osądach formułowanych przez jedną osobę czy grupę w tej samej sprawie, tyle że w różnych sytuacjach. Dyskusje w grupie rodzą zaskakująco wiele szumu w wyniku z pozoru nieistotnych czynników, takich jak kolejność zabierania głosu.

W części trzeciej przyglądamy się bliżej pewnemu rodzajowi osądów, który doczekał się wielu badań: osądom prognostycznym (przewidywaniom i prognozom). Omawiamy kluczową przewagę reguł, formuł i algorytmów nad osądami ludzkimi przy tworzeniu prognoz: wbrew powszechnemu przekonaniu jest ona kwestią nie tyle lepszego zrozumienia sprawy, co wyeliminowania szumu z osądów. Piszemy o nieprzekraczalnej granicy trafności osądów prognostycznych, spowodowanej obiektywną niewiedzą na temat przyszłości, a także pokazujemy, jak taka niewiedza oraz szum ograniczają jakość naszych przewidywań. Na koniec mierzymy się z pytaniem, które z pewnością zdąży się nasunąć i tobie: skoro szum jest tak wszechobecny, dlaczego nie zauważyliśmy go wcześniej?

W części czwartej zwracamy się ku ludzkiej psychologii, żeby wyjaśnić zasadnicze przyczyny szumu. Należą do nich różnice między ludźmi wynikające z różnych czynników, w tym z różnic w osobowości i stylu poznawczym, różnych stopni wagi przypisywanej przez osoby poszczególnym aspektom sytuacji, a także tego, że ludzie na różne sposoby posługują się tą samą skalą. Zastanawiamy się, dlaczego pozostajemy nieświadomi szumu i dlaczego zdarzenia albo osądy często nas nie dziwią, pomimo że były całkowicie nie do przewidzenia.

W części piątej przyglądamy się kwestii praktycznej: podnoszeniu jakości własnych osądów i zapobieganiu błędom. (Czytelnicy i czytelniczki, których interesuje głównie wykorzystanie redukcji szumu w praktyce, mogą przejść od razu do tej części z pominięciem omówienia wyzwań związanych z prognozowaniem oraz kwestii psychologicznych w częściach trzeciej i czwartej). Tutaj przyglądamy się działaniom ograniczającym szum w medycynie, biznesie, edukacji, administracji państwowej i na innych polach. Przedstawiamy kilka technik ograniczania szumu, które zbiorczo nazywamy higieną decyzyjną. Prezentujemy pięć różnych studiów przypadku w dziedzinach, w których badania wykazały istnienie znacznego poziomu szumu i gdzie podjęto konsekwentne działania dla jego ograniczenia – z różnym skutkiem, co także wiele mówi na temat problemu. Badane przypadki dotyczą: zawodnych diagnoz medycznych; ocen okresowych pracowników; kryminalistyki; decyzji o zatrudnianiu pracowników oraz prognozowania jako takiego. Na koniec tej części przedstawiamy system, który nazywamy metodą analiz pośrednich (MAP): uniwersalne podejście do oceniania opcji, wykorzystujące kilka kluczowych praktyk higieny decyzyjnej i pozwalające formułować rzetelniejsze, mniej dotknięte szumem osądy.

Jaki poziom szumu jest właściwy? Z tą kwestią mierzymy się w części szóstej. Może to sprzeczne z intuicją, ale właściwy poziom szumu nie jest zerowy. W niektórych obszarach wyeliminowanie szumu jest po prostu niewykonalne, w innych – zbyt drogie, a w jeszcze innych działania na rzecz ograniczenia szumu odbijałyby się niekorzystnie na innych ważnych wartościach: na przykład mogłyby podkopywać morale i rodzić w ludziach poczucie, że są traktowani jak trybiki w maszynie. Częściowe włączenie algorytmów do rozwiązania tego problemu również rodzi wiele zastrzeżeń; w tej części przyjrzymy się niektórym z nich. Jednak tak czy inaczej, aktualny poziom szumu jest nie do przyjęcia. Apelujemy zarówno do organizacji prywatnych, jak i publicznych o przeprowadzenie „audytów szumu” i podejścia do działań mających ograniczyć szum z bezprecedensową powagą. Pozwoliłoby to złagodzić powszechną niesprawiedliwość – a przy okazji zmniejszyć koszty w wielu obszarach.

Z myślą o tej aspiracji każdy rozdział zamykamy kilkoma krótkimi stwierdzeniami w formie cytatów. Możesz wykorzystać te sformułowania słowo w słowo albo dostosować je do dowolnych kwestii, które są dla ciebie ważne, czy to związanych ze zdrowiem, czy z bezpieczeństwem, edukacją, pieniędzmi, pracą, rozrywką, czy jeszcze innymi sprawami. Zrozumienie problemu szumu oraz próby jego rozwiązania to zbiorowy i wciąż jeszcze niedokończony wysiłek. Wszyscy mamy szansę się do niego przyczynić. Ta książka powstała z nadzieją, że zdołamy tę szansę wykorzystać.

Przypisy

Wstęp

14tarcze strzelnicze ilustrują tę różnicę: W 1778 roku szwajcarski matematyk Daniel Bernoulli posłużył się przykładem nie karabinów, ale łuków i strzał, aby przedstawić tę samą analogię w eseju o problemach szacowania (patrz: Bernoulli, The Most Probable Choice Between Several Discrepant Observations and the Formation Therefrom of the Most Likely Induction, „Biometrika”, t. 48, nr 1-2, czerwiec 1961, s. 3-18, https://doi.org/10.1093/biomet/48.1-2.3).

16Szum dotyka orzeczeń o opiece nad dziećmi: por. Joseph J. Doyle, Child Protection and Child Outcomes: Measuring the Effects of Foster Care, „American Economic Review” 95, nr 5 (grudzień 2007): 1583-1610.

17kiedy deweloperów oprogramowania: Grimstad, Stein, Magne Jørgensen. Inconsistency of Expert Judgment-Based Estimates of Software Development Effort, „Journal of Systems and Software”, t. 80, nr 11, 2007, s. 1770-1777.

17wnioski o azyl: patrz: Andrew I. Schoenholtz, Jaya Ramji-Nogales i Philip G. Schrag, Refugee Roulette: Disparities in Asylum Adjudication, „Stanford Law Review”, t. 60, nr 2, 2007.

18czy urząd patentowy przyzna patent, czy odrzuci wniosek: Mark A. Lemley, Bhaven Sampat, Examiner Characteristics and Patent Office Outcomes, „The Review of Economics and Statistics”, t. 94, nr 3, 2012, s. 817-827. Patrz także: Iain Cockburn, Samuel Kortum, Scott Stern, Are All Patent Examiners Equal? The Impact of Examiner Characteristics, working paper 8980, czerwiec 2002; www.nber.org/papers/w8980; ora Michael D. Frakes, Melissa F. Wasserman, Is the Time Allocated to Review Patent Applications Inducing Examiners to Grant Invalid Patents? Evidence from Microlevel Application Data, „Review of Economics and Statistics” 99, nr 3 (lipiec 2017): 550-563.