Metodologia

Jak powstają analizy fact-checkingowe w tym serwisie i co dokładnie znaczy każdy werdykt. Strona opisuje stan faktyczny — to, co robi kod, a nie deklarację intencji.

Co wybieramy do sprawdzenia

Kandydatami są wypowiedzi osób publicznych zacytowane w tematach z ostatnich 72 godzin oraz twierdzenia z treści artykułów, które trafiły do puli „do sprawdzenia” — jedna trzecia miejsc w każdym cyklu należy do tej puli. Dobór automatyczny bierze wyłącznie twierdzenia, których szybki werdykt to „sporne” albo „fałszywe” — tam pełna analiza wnosi najwięcej; zlecenie ręczne działa dla każdego twierdzenia z puli. O wyborze decyduje sprawdzalność, nie kontrowersyjność. Materiał kwalifikuje się, gdy zawiera konkretne twierdzenie o faktach — liczbę, datę, porównanie, stan prawny, dane albo związek przyczynowy — i gdy da się wskazać źródło, które je rozstrzyga niezależnie od autora twierdzenia. Nie sprawdzamy opinii, obietnic, przewidywań ani domysłów o cudzych motywach.

Odpadają też komunikaty, w których mówca jest jedynym źródłem pierwotnym: gdy dwór królewski ogłasza śmierć monarchy, ministerstwo własną nominację, a spółka własną decyzję, nie istnieje źródło zewnętrzne, którym dałoby się to sprawdzić — zostałaby tylko kontrola, czy komunikat rzeczywiście padł, a to nie jest fact-checking.

Tej samej osoby nie bierzemy dwa razy w ciągu doby, powtórzone twierdzenia są odsiewane, a materiał raz rozważony wraca najwcześniej po 72 godzinach (temat — po 48). Gdy żaden dostępny materiał nie spełnia kryteriów, w danym cyklu nie powstaje nic. Brak analizy jest lepszy niż analiza twierdzenia, którego nie da się rozstrzygnąć.

Analizę można też zlecić samemu — przyciskiem przy dowolnym twierdzeniu w puli „do sprawdzenia”. Zlecenie przechodzi dokładnie tę samą procedurę co publikacje automatyczne; pomija wyłącznie etap wyboru materiału.

Jak powstaje analiza

Rozłożenie na czynniki — z wypowiedzi wyodrębniamy tezę sformułowaną tak, by dało się ją rozstrzygnąć, oraz pytania badawcze z nazwanym źródłem.
Research — do 3 rund z wyszukiwarką. Każda runda widzi ustalenia poprzednich i to, czego wciąż brakuje, i formułuje zapytania inaczej.
Runda adwersaryjna — osobne wyszukiwanie ma znaleźć najmocniejszy argument za prawdziwością wypowiedzi i najmocniejszy przeciw, oraz wskazać słabe punkty dotychczasowych ustaleń.
Walidacja źródeł — patrz niżej.
Tekst — pisany wyłącznie na podstawie źródeł, które przeszły walidację.
Recenzja — osobne sprawdzenie, czy każde ustalenie ma przypis, czy werdykt wynika z danych i czy nie oceniamy osoby zamiast twierdzenia. Recenzja może obniżyć werdykt albo wstrzymać publikację.

Walidacja źródeł

Model podaje przy każdym źródle adres oraz dosłowny fragment, który ma potwierdzać ustalenie. Zanim cokolwiek trafi do serwisu, pobieramy stronę i sprawdzamy, czy ten fragment rzeczywiście na niej jest. Odrzucamy: adresy nieosiągalne, strony główne serwisów (nie są dowodem na konkretne twierdzenie) i te, na których przypisanego cytatu nie ma. Adresy przekierowań rozwijamy do docelowych, żeby było widać, dokąd prowadzą. Liczbę odrzuconych źródeł podajemy przy każdej analizie.

Dwa wyjątki, oba oznaczane w analizie: strona, która blokuje roboty (odpowiada kodem 401/403/429) — przyjmujemy ją tylko wtedy, gdy jej adres pochodzi z metadanych wyszukiwarki, a więc wiadomo, że istnieje i została odwiedzona; oraz strona poziomu 1–2, na której cytatu nie znaleźliśmy w kodzie HTML, bo treść jest w PDF albo ładowana skryptem. Żadna z nich nie liczy się jako źródło potwierdzone przy sprawdzaniu progu dowodowego.

Hierarchia źródeł

Poziom 1 — źródło pierwotne: rejestr, baza danych, dane surowe, dokument urzędowy, orzeczenie, stenogram, BIP.
Poziom 2 — instytucja: komunikat lub raport instytucji publicznej, badawczej albo organizacji fact-checkingowej, publikacja naukowa.
Poziom 3 — agencja: ustalenie własne agencji informacyjnej.
Poziom 4 — medium: materiał prasowy. Traktowany jako trop, nigdy jako dowód rozstrzygający — kilka redakcji może przedrukowywać tę samą depeszę.

Próg dowodowy zależy od rodzaju twierdzenia. Liczba, dane, stan prawny i cytat z dokumentu wymagają źródła poziomu 1 lub 2 — takie rzeczy są w rejestrach i nie ma powodu zadowalać się mniejszym. Data, porównanie i związek przyczynowo-skutkowy mogą oprzeć się na poziomie 3 albo na co najmniej trzech niezależnych serwisach: zdarzenia w świecie nie zawsze mają rejestr, a wymaganie go kończyło się werdyktem „nieweryfikowalne” tam, gdzie sprawa była w istocie jasna.

Gwiazdka przy werdykcie (*) oznacza, że próg wypełniają źródła właściwego poziomu, które istnieją i zostały znalezione wyszukiwarką, ale blokują automatyczny dostęp (np. serwisy rządowe odrzucające roboty, treść w załączonym dokumencie) — ich treści nie dało się potwierdzić maszynowo, więc werdykt zostaje, lecz z jawnym zastrzeżeniem i obniżoną pewnością.

Gdy próg nie jest spełniony nawet ze źródłami o ograniczonym dostępie, analiza z konkretnym wskazaniem (fałsz, manipulacja albo prawda) jest publikowana jako werdykt wstępny — z widocznym kierunkiem („Wstępnie: fałsz”) i obniżoną pewnością. To umotywowane wskazanie, nie ostateczny werdykt — mówi „na to wskazują dostępne materiały”, a nie „to jest rozstrzygnięte”

Werdykty

Prawda: Twierdzenie zgodne z danymi ze źródła pierwotnego lub instytucjonalnego; ewentualne różnice nie zmieniają jego wymowy.
Prawda, ale…: Twierdzenie w zasadzie zgodne z danymi, lecz pomija istotny warunek, okres albo kontekst, który zmienia jego wymowę.
Manipulacja: Poszczególne liczby i fakty są prawdziwe, ale zestawione tak, że prowadzą do fałszywego wniosku — przez dobór okresu, mylenie wskaźników albo pominięcie punktu odniesienia.
Fałsz: Istnieje dowód przeczący z wiarygodnego źródła. Sam brak potwierdzenia nie jest fałszem.
Wstępnie: fałsz / prawda: Analiza doszła do konkretnego wskazania, ale bez źródła pierwotnego lub instytucjonalnego wymaganego progiem — kierunek jest widoczny, pewność obniżona, a werdykt pozostaje otwarty do czasu twardszego dowodu.
Nieweryfikowalne: Publicznie dostępne źródła nie pozwalają rozstrzygnąć twierdzenia. Analiza opisuje, czego zabrakło.

Zakres oceny

Oceniamy treść twierdzenia, a nie to, czy wypowiedź padła, ani osobę, która ją wygłosiła. Nie oceniamy intencji mówcy. Werdykt dotyczy jednego, wskazanego twierdzenia — nie całego wystąpienia i nie poglądów.

Ta sama zasada obowiązuje przy szybkich werdyktach, które przy każdym temacie stawiamy pod wypowiedziami. Wypowiedź, w której nie ma twierdzenia do rozstrzygnięcia — ocena, apel, obietnica — nie dostaje werdyktu, tylko etykietę wypowiedź odnotowana: jest w temacie, ale nie udajemy, że coś o niej rozstrzygnęliśmy, i nie wpływa na ocenę tematu.

Werdykt potwierdzający, którego jedynym uzasadnieniem jest to, że cytat obiegł media („potwierdzona przez wszystkie źródła”, „identyczny cytat w kilku serwisach”), jest cofany maszynowo do „nieweryfikowalne”. Artykuły cytujące tę samą wypowiedź mierzą jej zasięg, nie prawdziwość — mogą powielać ten sam błąd.

Korekty

Błąd można zgłosić na dwa sposoby: flagą 🚩 przy twierdzeniu lub analizie, albo — jak w serwisie Demagog — zaznaczając problematyczny fragment tekstu i naciskając Ctrl+Enter. W oknie zgłoszenia można wybrać rodzaj problemu (od błędu faktycznego po błędny werdykt czy brak kontekstu), opisać własnymi słowami, na czym polega błąd, i dołączyć linki do dowodów. Zaznaczony fragment, opis i linki trafiają wprost do ponownego zbadania sprawy — od zera, z prawdziwą wyszukiwarką i z instrukcją, żeby nie bronić opublikowanego werdyktu. Opis czytelnika jest dla systemu hipotezą, nie ustaleniem, a podane linki przechodzą tę samą walidację co wyniki wyszukiwarki (pobranie strony i sprawdzenie cytatu). Jeśli werdykt się zmienia, na stronie analizy pojawia się wpis w sekcji „Aktualizacje i korekty” — z poprzednim werdyktem, nowym i wyjaśnieniem. Poprzednie wersje nie znikają.

Czego ten serwis nie robi

Analizy pisze model językowy, bez człowieka w pętli. Walidacja źródeł i próg dowodowy ograniczają najczęstsze błędy — zmyślone cytowania i werdykty bez pokrycia — ale nie eliminują ich całkowicie. Serwis jest prywatny i nie jest medium: nie kontaktujemy się z osobami, których wypowiedzi sprawdzamy, i nie zbieramy ich stanowisk przed publikacją.