Elemzés: A Twitter közösségi forrásból származó tényellenőrző kísérlete problémákat tár fel

A Poynter elemzése megállapította, hogy a Birdwatch-felhasználók kevesebb mint fele használ forrásokat, és sok tényellenőrző feljegyzés tartalmaz partizán retorikát.

A Twitter Birdwatch algoritmusának február 14-i verziója néhány megjegyzést félrevezető információkkal gazdagított.

Február 5-én a Twitter jelezte Tim Pool vitatott YouTuber bejegyzése azt mondta, hogy a 2020-as amerikai elnökválasztást meghamisították. A platform megjegyezte, hogy az állítást vitatták, és „az erőszak veszélye miatt” kikapcsolták az eljegyzést.

De tovább Madárfigyelő , a közösségi média platform kísérlet a tömeges tények ellenőrzésével A Twitter adatainak február 14-i elemzése szerint a felhasználók túlnyomó többsége szerint a tweet nem volt félrevezető. A legtöbb Birdwatch-felhasználó pedig jelezte az eszközben, hogy hasznosnak és informatívnak találta ezeket a megcáfolt állításokat alátámasztó megjegyzéseket.

„A TIME hivatalos (sic) forrása szerint titkos résztvevők jól szervezett csoportja volt egy olyan árnyékszervezetben, amely úgy hangzik, mint egy összeesküvés, amely együtt dolgozott azon, hogy Joe Biden javára befolyásolja a választást” – olvasható az egyik feljegyzésben. Míg a felhasználó tartalmaz egy hivatkozást a Time Magazin cikke amely valóban olyan szavakat használ, mint „összeesküvés” és „összeesküvés”, a darab kontextusa – miszerint erős csoportok dolgoztak a színfalak mögött a választási feddhetetlenség védelmében – elveszett.

Az Madárfigyelő algoritmus , amely a hasznos megjegyzéseket kívánja felszínre hozni, ehhez a „tényellenőrzéshez” 0,68-as segítőkészség-pontszámot rendelt – ez a legmagasabb a tweetben szereplő megjegyzések közül, csak éppen kívül esik azon jegyzetek felső 10%-án, amelyet az algoritmus „hasznosnak” minősített. Február 14. Az ebben az elemzésben szereplő 2695-nek körülbelül 7%-a hasznosnak minősített feljegyzések, és ezek kevesebb mint kétharmada tartalmaz olyan forráshivatkozást, amely nem egy másik tweet.

Február 17-én, Twitter megváltoztatta az algoritmusát és a Pool tweetben lévő megjegyzések már nem minősülnek hasznosnak, bár azok továbbra is a bejegyzés alatt találhatók . A változás előtt alacsonyabb volt a hasznosnak ítélt küszöb – mindössze 0,5 az új 0,84-es határértékhez képest –, és a jegyzeteknek csak három értékelésre volt szükségük ahhoz, hogy hasznosnak minősüljenek, sorrendben rangsorolják és kék jelzéssel jelölik.

Most egy jegyzetnek öt értékelést kell elérnie ahhoz, hogy a tweet bekerüljön új „hasznosnak értékelt” lap a Birdwatchban . És a platform adatbázisában található közel 2700 jegyzetből 126 érte el az új küszöböt – ez kevesebb, mint 5%. Az új „hasznosnak értékelt” feljegyzések háromnegyede a Twitteren kívüli forrást tartalmazott.

Időszerű szemléltetése a Birdwatch modell egyik problémájának: képes-e valaha is pontosan „besorolni” az igazságot egy látszólag véletlenszerű embercsoport által táplált algoritmus?

A kísérleti szakaszban, valamivel több mint 1000 felhasználóval rendelkező Birdwatch lehetővé teszi a résztvevők számára, hogy megtévesztőként jelöljék meg a tweeteket, és megjegyzést fűzzenek hozzá, amely hivatkozik a forrásra és/vagy megmagyarázza, miért lehet félrevezető. Ezután a Birdwatch felhasználói a segítőkészségük alapján rangsorolhatják ezeket a megjegyzéseket (ezt követően az algoritmus veszi át az irányítást).

Végül látszólag minden Twitter-felhasználó láthatja ezeket a megjegyzéseket közvetlenül a tweetek alatt, de egyelőre csak a webhely egy adott szakasza . A Birdwatch felhasználói végül egy jó hírnév pontszámot is létrehoznak, amely beépül a segítőkészség algoritmusába.

'Célunk a Birdwatch pilotjával egy olyan rendszer kiépítése, amelyben bárki hozzájárulhat, és ez természetesen olyan információkhoz jut, amelyeket az emberek hasznosnak találnak' - mondta Keith Coleman, a Twitter termékért felelős alelnöke egy e-mailben. „Úgy gondoljuk, hogy fontos a nyitottság abban, hogy ki tud hozzájárulni, és hogy egy változatos csoport hozzájárulásával a leghasznosabb megjegyzések emelhetők ki.”

A rendszer jelenlegi állapotának pillantása azonban rávilágít azokra a kihívásokra, amelyeket a tényellenőrzők felvetettek a Birdwatch kapcsán: a tényellenőrző szakértelem hiánya a felhasználók körében, egy olyan algoritmus létrehozásának nehézsége, amely valamilyen módon felszínre hozza a legnevesebb felhasználók hasznos megjegyzéseit, és kérdések a felhasználók pártos motivációiról.

„Nem lepnek meg ezek a megállapítások, tekintettel a közösségi média platformok polarizált természetére és a főbb felhasználók habozására, hogy visszajelzést adjanak a platformok által felkínált ilyen kérdésekre, míg a motivált felhasználók a folyosó mindkét oldaláról úgy tekintenek a platformokra, mint csataterekre, ahol narratíváikat népszerűsítik. mások” – mondta Baybars Örsek, a Nemzetközi Tényellenőrző Hálózat igazgatója.

A Birdwatch legtermékenyebb felhasználói jegyzeteinek többsége a jobboldalt kritizáló tweeteket „félrevezetőnek”, a baloldalt kritizáló tweeteket pedig „nem félrevezetőnek” minősíti. (Például a felhasználó megjelölt egy tweetet, amely így szól: Biden csapat lágyan bánik Kínával ” Ted Cruz szenátor és a Pool tweetében „nem félrevezető”; míg a Newsweek cikke szélsőjobboldali szélsőségesekről és a GameStop sagáról és egy tweet Donald Trump elnököt a Capitoliumi zavargáshoz kötve „félrevezetőnek” és „károsnak” jelölték.) És a felhasználó 82 jegyzetének kevesebb mint egyötöde tartalmaz forrást, amelyek közül több más tweet. (Ez a Birdwatch felhasználó nem válaszolt egy interjúkérésre.)

Coleman szerint a Birdwatch-ot arra lehet ösztönözni, hogy fontolja meg a „különféle közreműködőktől” származó jegyzeteket. Ezenkívül a minősítési rendszer a fő hajtóerő a platform mögött

'Úgy gondoljuk, hogy ezek jutalmazzák és ösztönzik a sok ember által értékesnek tartott hozzájárulást, és kezelik annak kockázatát, hogy egy adott csoport vagy ideológia átveszi a Birdwatch uralmát' - mondta Coleman. „Ez az, amin aktívan fogunk dolgozni a kísérlet során.”

És valóban, azok a jegyzetek, amelyeket az algoritmus a leghasznosabbnak minősített a február 17-i változtatásokat követően, szilárdabb beszerzést és kevésbé pártos retorikát mutatnak, mint az egy nappal korábbi iteráció. De egy 1000 felhasználót tartalmazó és 2700-nál kevesebb jegyzetet tartalmazó kísérleti program algoritmusának megváltoztatása egy dolog, az algoritmus megváltoztatása, amint a Birdwatch minden felhasználó számára elérhetővé válik, egy másik dolog – és ki tudja, hogy az algoritmus hatékonysága kitart-e, amikor a felhasználók elkezdenek özönleni. a platformba, talán megismételve néhány legtermékenyebb kísérleti résztvevő viselkedését.

„Jelenleg nincs konkrét ütemezésünk a méretezésre, mivel azon dolgozunk, hogy a lehető legtöbbet tanuljunk, és iteráljunk, amíg kicsi a pilot” – mondta Coleman. 'Azt tervezzük, hogy növeljük a méreteket, ahogyan ezt biztonságosan megtehetjük, és amikor ez segíthet a tanulás javításában.'

Ennek ellenére, mint a Pool tweet alatti jegyzeteknél, vannak a partizán példái vagy félrevezető információk még mindig látható rendes jegyzetként.

Az öt legaktívabb felhasználó közül négy, akik az összes jegyzet több mint 10%-át teszik ki, hasonló tevékenységet folytatnak, mint a legtermékenyebb felhasználó. Egyikük azt állítja, Jeffrey Epstein halálát soha nem tekintették öngyilkosságnak. A második legtermékenyebb Madármegfigyelő azonban minden feljegyzésben hivatkozik egy forrásra, beleértve az Egészségügyi Világszervezettől származó linkeket és FactCheck.org .

A Twitter életrajza szerint a top 10 felhasználó egyike sem hivatásos tényellenőrző vagy újságíró.

'A tények ellenőrzése valójában kemény munka, mivel mentálisan megterhelő' - mondta Angie Holan, a PolitiFact főszerkesztője egy e-mailben. „Valóban koncentrálnod kell, és át kell lépned a mentális tehetetlenségen, hogy azonosítsd az állításokat, majd kitaláld azokat a módszereket, amelyekkel megcáfolhatod vagy ellenőrizheted őket. Ezután végig kell keresnie, majd le kell írnia a leleteket. Ez nem egy nap a tengerparton, hogy őszinte legyek. És ha egy tényellenőrnek partizán motivációja van, az még megnehezíti az alapos és kiegyensúlyozott erőfeszítést.”

Problémái ellenére a Birdwatch megjelöli azokat a téves információkat, amelyeket a hagyományos tényellenőrzők figyelmen kívül hagynak, vagy úgy döntenek, hogy nem ellenőrzik az esetleges károk miatt – ami segíthet pótolni a digitális félretájékoztatás bizonyos hiányosságait. Közben játék stop saga , az adott cég részvényeivel kapcsolatos téves információk gyorsan elterjedtek a platformok között.

Snopes és PolitiFact nem értékelte a GameStoppal kapcsolatos követeléseket, míg Lead Stories értékelése egy Reddit bejegyzés. A Birdwatch-on azonban a legmagasabbra értékelt megjegyzés – 1,00-es segítőkészséggel – egy félrevezető tweetet jelölt meg a Redditről, ahol a részvényekről szóló beszélgetés zajlott. Körülbelül 50 jegyzet jelent meg a Redditről, a GameStopról és a Robinhood befektetési alkalmazásról, amelyekkel a hónap elején nagy mennyiségű kereskedés történt.

A Birdwatch felhasználói pedig helyesen hamisként jelöltek meg egy fiókot, amely azt állította, hogy Amanda Chase virginiai szenátorhoz tartozik. tweetelt „… Van egy drogproblémánk Virginiában, és a marihuána legalizálása csak több marihuána-túladagoláshoz és halálesethez vezet…”

Örsek szerint a közösségi beszerzés megkönnyítheti a hivatásos tényellenőrzők életét a téves információk felderítésével.

Coleman elmondta, hogy a Twitter elkötelezett az átláthatóság fenntartása mellett – ami lehetővé tette ezt az elemzést –, és beépíti a szakértők véleményét a platform jövőjével kapcsolatban.

„A beágyazott csapattaggal való együttműködésből A Chicagói Egyetem RISC-központja , a riporterekkel és kutatókkal folytatott visszacsatolási ülések megrendezéséig azon dolgozunk, hogy kiaknázzuk azt a hatalmas mennyiségű szakértelmet és tudást, amely a Twitteren kívül létezik” – mondta.

Holan és Örsek ösztönzőket és képzést ajánl a Birdwatch felhasználóinak, valamint profi tényellenőrök alkalmazását a magas rangú jegyzetek ellenőrzésére.

„De eléggé kételkedem azokkal a technológiai társaságokkal szemben, amelyek azt hiszik, hogy felhasználóik ingyen moderálnak tartalmakat” – mondta Holan. „A legtöbb felhasználó nem tekinti feladatának, hogy segítse a platformokat saját vállalkozása működtetésében.”