Alert RCB - minimalizacja false negative prowadzi do zwiększenia false positive ;-)

Drugi raz w ciągu 24 godzin dostałem SMSa z Alertem RCB.
Wczorajszy się nie sprawdził, patrząc na pogodę od Google jest znaczna szansa, że dzisiejszy się też nie sprawdzi.

Mamy tu klasyczny konflikt między użytecznością, a przysłowiowym kryciem swojego tyłka.
Albo jak kto woli, problem wysokiego stopnia false postive ;-)

Mamy tak:

	Niebezpieczne anomalie pogodowe	Normalna pogoda
Alert RCB	true positive Ludzie zostali poinformowani, mieli czas na przygotowanie się, jak ktoś się dał złapać to jego problem	false positive Odbiorcy wkurzeni Ludzie zaczynają ignorować alerty RCB
Brak alertu RCB	false negative Wszyscy wśiekli Pojawiają się pomysły by kogoś postawić przed sądem za "niedopełnienie obowiązków"	true negative Wszyscy mają w nosie

I jak patrzeć racjonalnie to jeśli wiemy, że może przyjść nawałnica czy burza i mogą coś drogiego uszkodzić, albo komuś krzywdę zrobić to trzeba ludzi o tym poinformować.

Pytanie co znaczy "wiemy". To nie jest binarna sprawa, bo zamiast wiedzieć "na 100% będzie" albo "na 100% nie będzie" wiemy tylko, że z prawdopodobieństwem X wystąpią opady o wielkości Y.
Nawet nie tak, wiemy tylko, że model przewiduje opady od wartości A do wartości B, większość symulacji wskazuje na wartość C, ale kilka wskazuje na wartość D, która jest wyższa niż jakiś arbitralnie ustawiony threshold to krzyczymy, że coś się może stać.

Coś jakby zbudować klasyfikator mówiący czy grozi nam w ciągu następnych 24 godzin uderzenie asteroidy, który może zabić ludzi i zawsze odpowiadać tak.
W końcu duża asteroida spada na Ziemię średnio raz na 20 milionów lat, a mała raz na pół miliona lat, czyli patrząc na dane historyczne duża każdego dnia ma szansę spaść jak 1 do trochę ponad 7 miliardów, a mniejsza jak 1 do jakichś 180 milionów.
Jeśli duża może zabić całą ludzkość, to mamy średnio szansę śmiercie tak jakoś 1 osoby, jeśli mała może zniszczyć miasto z okolicami gdzie mieszka powiedzmy 30 mln ludzi, to mamy średnio 6 osób. Czyli nasz klasyfikator ostrzega przed śmiercią jakichś 7 osób.
Dzień w dzień.

W przypadku alertów RCB jest tak, że jak np. jest sobie kolonia, czy obóz harcerski i przyjdzie nawałnica i coś się komuś stanie, a alertu nie było to prokurator zacznie ścigać meteorologów z RCB czy okolic, szczególnie jeśli się okaże, że jakaś symulacja mówiła, że coś się może zdarzyć.
Jak alert pójdzie, to w razie coś się uczestnikom kolonii/obozu stanie to problem opiekunów, nie RCB.

Jak alert pójdzie, a nic się nie stanie, to tylko się ludzie trochę wkurzą.

Czyli z punktu widzenia "gracza" jakim jest RCB, by uniknąć problemów prawnych należy ostrzegać o wszystkim co może źle się skończyć. Nieważne jakie jest tego prawdopodobieństwo.

To minimalizuje false negative, czyli minimalizuje szansę na zarzuty prokuratorskie za "niedopełnienie obowiązków".

Maksymalizuje też false positive (nie wprost, ale zwykle jak się dąży do zminimalizowania false negative, to zwiększa się liczbę false positive), a co za tym idzie zmniejsza się zaufanie do klasyfikatora.

Czyli chociaż pracownicy RCB są kryci i nie grożą im zarzuty prokuratorskie, to sam alert RCB staje się coraz mniej wiarygodny i coraz więcej ludzi go ignoruje.
A to siłą rzeczy prowadzi do tego, że ktoś może zginąć, bo zignoruje alert RCB.


Podobne posty^beta
Pomodoro z positive reinforcement? ;-)
Kiedy trigger words będą w mailach obowiązkowe? ;-)
Ofiara algorytmu
Paranoja i Strach
Rube Goldberg machine do panowania nad spotkaniami... częściowego chociaż ;-)