Słowem wstępu
Zanim wspólnie odkryjemy w jaki sposób Charles Goodhart zrewolucjonizował metody formułowania miar mających pozwolić nam na osiągnięcie zamierzonych celów, odbędziemy serię krótkich podróży niczym doskonale wszystkim znany bohater opowieści wigilijnej. Proszę Cię o dotrzymanie mi towarzystwa, bowiem finał tych historii zawiera rozwiązanie tajemnicy nieoczekiwanych konsekwencji mierzenia postępów.
Spakujmy lekkie ubrania, preparat na komary oraz coś do picia. Celem naszej podróży będą Indie w czasie pomiędzy 1858-1947 czyli w okresie przynależności do korony brytyjskiej. W tamtym okresie miasto Delhi zmagało się z problemem wysokiej populacji jadowitych węży z gatunku kobry indyjskiej. Rząd brytyjski chcąc zażegnać kryzys zagwarantował wypłatę nagrody po okazaniu zabitej kobry. Zgodnie z założeniami miało to zmotywować wszystkich obywateli do pracy na rzecz zmniejszenia populacji jadowitych węży w okolicach miasta. Wprowadzony program początkowo wydawał się być sukcesem bowiem bardzo wielu obywateli zgłaszało się po nagrodę przekazując zabite kobry. Dlaczego program początkowo wydawał się sukcesem? Bowiem część ludzi w Delhi postanowiła zająć się hodowlą kobry indyjskiej w celu zapewnienia sobie stałego źródła jadowitych węży niezbędnych do odebrania nagrody. Gdy fakt ten wyszedł na jaw, a informacja dotarła do rządu, program został zawieszony. Niedługo po tym jak przestano wydawać nagrody na zabijanie węży, hodowcy tychże, wypuścili je na wolność powodując dalszy wzrost populacji kobry indyjskiej w tym regionie. Jest to anegdota historyczna na podstawie której niemiecki ekonomista Horst Siebert ukuł pojęcie „efekt kobry”.
Kontynuujemy naszą wspólną przygodę. Tym razem żaden bagaż nie będzie nam potrzebny, bowiem podróż odbędziemy do sieci internet w październiku 2020. W tym czasie miało miejsce święto wolnego i otwartego oprogramowania zwane Hacktoberfest. W tej konkretnej edycji organizatorzy postanowili zachęcić uczestników do wkładu w wolne oprogramowanie. Zasady były niezwykle proste: pierwsze 75 tysięcy uczestników którzy zgłoszą cztery i więcej pull requestów do dowolnego projektu otwartego oprogramowania otrzyma pamiątkową koszulkę „Hactoberfest 2020”. Termin „pull request” oznacza modyfikację do kodu źródłowego, która przed staniem się częścią oprogramowania jest sprawdzana przez autora/opiekunów projektu. Konkurs ten spowodował lawinowy wzrost liczby pull requestów które nie wnosiły żadnej wartości. Zmieniały nazwy projektów, zamieniały wypunktowania na myślniki, a w skrajnych wypadkach spowodowały załamanie poprawności funkcjonowania oprogramowania. Skala szkody wywołanej przez wydarzenie była tak duża, że porównywano je do ataków hakerskich typu DDOS. Na pewien czas sparaliżowało dalsze prace nad wieloma projektami, a sam Hactoberfest był szeroko krytykowany za szkodzenie społeczności otwartego oprogramowania.
Teraz przenieśmy się wspólnie do leżącej nieopodal fikcyjnej firmy. Wyobraź sobie szefa tej firmy zajmującej się telefoniczną obsługą klienta. Dla ułatwienia szef ten będzie nazywał się Piotr. Piotra poznajemy w chwili w której nie jest zadowolony z wyników wypracowanych przez swoich podwładnych. Uważa, że pracownicy nie obsługują wystarczającej liczby telefonów w trakcie godzin jakie poświęcają codziennie na swoją pracę. Dla Piotra stanowi to duży problem bowiem płaci swoim pracownikom według stawki godzinowej. Dręczony myślami o niskiej wydajności postanawia poprawić proces, ogłasza swoim podwładnym że teraz wynagrodzenie będzie zależne od liczby obsłużonych klientów. Po upływie miesiąca zgodnie z oczekiwaniami Piotra, liczba odebranych przez pracowników telefonów wynosi ponad dwukrotnie więcej w porównaniu z miesiącem poprzednim. Zadowolony z siebie Piotr postanawia przespacerować się po pomieszczeniach w których odbierane są telefony od klientów. Gdy dociera na miejsce zdumiony obserwuje jak pracownicy rozmawiają z klientami. Odpowiadają na ich pytania szybko i oszczędnie, a gdy problem klienta zostaje rozwiązany, bez zbędnych zwrotów grzecznościowych odkładają słuchawkę w oczekiwaniu aż telefon ponownie zadzwoni. Piotr nie jest zadowolony z tego co zobaczył, usłyszał i co jest efektem jego usprawnień.
Zabawna puenta Charlesa Goodharta
Charles Goodhart, to 84 letni kreatywny teoretyk polityki monetarnej, który większość swojej kariery spędził pracując dla Banku Anglii i londyńskiej szkoły ekonomii. Najlepiej zapamiętany za coś, co powiedział na konferencji w Sydney w 1975 roku, a co, jak później przyznał, „miało być żartobliwą, rzuconą od niechcenia puentą”. Jego spostrzeżenie jest dziś regularnie cytowane w dziedzinach takich jak bankowość, medycyna czy sztuczna inteligencja, ponieważ mówi coś ważnego o tym, jak funkcjonuje współczesny świat.
To, co Goodhart powiedział 46 lat temu w Sydney, brzmiało następująco:
“Any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes.”
Słowa Charlesa Goodharta zostały potem przetworzone przez antropolog Marilyn Strathern i sformułowane w maksymę znaną szeroko jako Prawo Goodharta:
“When a measure becomes a target, it ceases to be a good measure.”
Zgodnie z interpretacją Marilyn Strathern słów Goodharta, w systemie w którym ludzie oceniani są na podstawie gromadzonych danych, będą oni dostosowywać swoje zachowania, aby zoptymalizować je pod kątem tychże punktów danych. Kiedy ludzie dostosowują swoje zachowania do tych elementów, zbierane dane przestają być wartościowym środkiem pomiaru.
Rzeczywistość w której funkcjonujemy jest na tyle złożonym system różnorodnych zależności że wymyka się próbom sprowadzania jej do kilku metryk na podstawie których podejmowane są próby wpływania na zachowanie ludzi w celu rozwiązania problemu. W przypadku gdy algorytm oceny jest znany przez ocenianych przestaje on odzwierciedlać stan faktyczny. Prowadzi to do ignorowania cech jakościowych nieuwzględnionych w mechanizmie oceny i może prowadzić do skutków odwrotnych niż pierwotnie założone.
Omawiana prawidłowość powoduje że gdy skuteczność chirurgów oceniana jest na podstawie udanych operacji, to będą mieli skłonność do unikania skomplikowanych przypadków, trudnych operacji czy pacjentów o wysokim ryzyku. Prawnicy których sukces mierzony jest w stosunku wygranych spraw do przegranych będą przejawiać podobne wzorce zachowań co chirurdzy. Czasem konsekwencje zjawiska wyglądają tak jak w 2018, gdy choremu, 81-letniemu weteranowi odmówiono przyjęcia do Roseburg Veterans Administration Medical Center w Oregonie w ramach starań szpitala o „podniesienia oceny jakości opieki”. Dyrektor tego szpitala przyznał na łamach Timesa, że bycie bardziej selektywnym poprawiło wskaźniki.
W jaki sposób właściwie mierzyć i oceniać osiąganie celu?
Wspólnie dotarliśmy do miejsca w którym podejmiemy próbę wyciągnięcia nauki z prawa Goodharta. Na podstawie wcześniejszych rozdziałów możemy wnioskować że najlepszym rozwiązaniem będzie pozostawienie naszego algorytmu oceny wydajności w obszarze niejawnym. To rozwiązanie sprawi że zbierane metryki będą ściśle oddawały stan rzeczywistości. Z drugiej strony, jeżeli naszym celem jest ukierunkowanie zespołu w wysiłkach ku konkretnym celom, to niejawny system oceny nie przyniesie nam oczekiwanych rezultatów. Taki nieujawniony algorytm pozostanie bez wpływu na osiągane wyniki. Ponadto jeżeli ludzie nie znają zasad gry, są zagubieni, mniej ufają w prawidłowe funkcjonowanie firmy/działu/zespołu oraz są bardziej skłonni do kwestionowania podejmowanych decyzji.
Jako ludzie mamy preferencję do stosowania uproszczonych modeli rzeczywistości, co sprawia że najbardziej komfortowo czujemy się gdy podsumowanie wyników jest reprezentowane przez jedną wartość liczbową. Zdarzają się sytuacje, w których pojedyncza, dobrze zaprojektowana miara może zachęcić do pożądanego zachowania, ale należy pamiętać, że ludzie będą zawsze starali się zmaksymalizować każdą wybraną przez nas miarę. W większości sytuacji lepszym rozwiązaniem jest stosowanie wielu miar (wraz z przedziałami niepewności). Wybierając wiele miar, możemy zaprojektować rozwiązanie minimalizując szanse zaistnienia niezamierzonych konsekwencji. Konsekwencji które często występują przy optymalizacji zachowań dla osiągnięcia wąsko zdefiniowanego celu.
W tym miejscu wróćmy do Piotra, szefa fikcyjnej firmy call center. Jak myślisz, w jaki sposób wyposażony w wiedzę o prawie Goodharta, mógł on wprowadzić usprawnienia do pracy? Liczba obsługiwanych telefonów powinna być jedną z kilku mierzonych i kontrolowanych cech wykonywanej przez pracowników pracy. Innymi cechami mogłyby być: deklarowane przez klientów zadowolenie z usługi, średni czas w jakim problem klienta ulega rozwiązaniu, czy zadowolenie pracowników z warunków/narzędzi pracy. Możliwe że niższa niż oczekiwana wydajność wynikała z nieujawnionych trudności z jakimi pracownicy borykali się w trakcie wykonywania swoich obowiązków.
Jeśli skończymy na podniesieniu jednego wskaźnika kosztem innych, równie ważnych czynników, to nasze rozwiązanie nie poprawi sytuacji. Jednym z pierwszych kroków w rozwiązywaniu problemu czy osiąganiu wybranego celu jest określenie właściwych miar, które pozwolą nam w prawidłowy sposób mierzyć sukces. Kiedy chcemy obiektywnie znaleźć najlepsze rozwiązanie, powinniśmy przypomnieć sobie koncepcję prawa Goodharta i uświadomić, że zamiast używać jednej liczby, lepszą oceną jest zazwyczaj zestaw pomiarów.
Kolejną dobrą praktyką jaka może pomóc nam w osiągnięciu właściwych celów jest jasne zakomunikowanie zespołowi co chcemy osiągnąć poprzez mierzone współczynniki. Z pomocą odpowiedzi na pytania „dlaczego” ta miara jest ważna, zespół będzie posiadać ogólniejszy koncept/model problemu który próbujemy rozwiązać. W najlepszym wariancie, zespół zaproponuje dodatkowe parametry jakie należy kontrolować aby osiągnąć planowane cele.
Zjawisko zdemaskowane przez prawo Goodharta jest jednym z tych paradoksów, których nie należy rozwiązywać, ale które należy zrównoważyć. Jest to delikatna struktura, która zmienia się i balansuje dzięki napięciom dwóch sił; tych, które mierzą i tych, które dostosowują się do miar.
Dodatkowe materiały:
https://www.bloomberg.com/news/articles/2021-03-26/goodhart-s-law-rules-the-modern-world-here-are-nine-examples
https://en.wikipedia.org/wiki/Perverse_incentive
https://www.psychologytoday.com/us/blog/machiavellians-gulling-the-rubes/202010/the-cobra-effect-no-loophole-goes-unexploited
https://arxiv.org/pdf/1809.07841.pdf
O Autorze:
Grzegorz Maciaszek, pasjonat technicznych obszarów IT. Zwolennik pozytywnych relacji międzyludzkich oraz przywództwa przez przykład. Prelegent konferencji 4Developers oraz okazjonalny publicysta-hobbysta. Aktualnie wraz z CloudFerro mierzy tętno naszej planety z kosmosu.