Šírenie nenávisti na internete bude odteraz zložitejšie

Internet je dnes plný rôznych trikov, ktorými používatelia obchádzajú automatické moderovanie toxického obsahu. Namiesto jasných urážok používajú maskovanie slov, čím zmätú algoritmy, ktoré sa snažia škodlivý obsah zachytiť. Napríklad, namiesto „You’re stupid“ napíšu „Y0u’re st00pid“ alebo spoja slová do zložení ako „IdiotFace“. Ďalším bežným trikom je rozdelenie písmen („h a t e“) alebo použitie symbolov, ako „h@te“.

Tieto praktiky nielenže komplikujú prácu tradičných filtrov, ale ponechávajú obete (často zraniteľné skupiny) vystavené škodlivému obsahu. Na riešenie tohto problému vznikol nový nástroj, ktorý vylepšuje efektivitu existujúcich moderovacích systémov pomocou prepracovaného spracovania textu. Ten môže výrazne pomôcť pri znižovaní nenávistného obsahu na sociálnych sieťach, ako Instagram Facebook či TikTok.

Ako to funguje?

Tento nástroj je navrhnutý ako podpora pre existujúce moderovanie. Jeho cieľom je pripraviť obsah na presnejšiu analýzu tým, že odstráni triky používané na maskovanie toxicity. Pracuje v troch hlavných krokoch:

1. Zjednodušenie textu
   Odstraňuje nadbytočné prvky, ako sú prebytočné medzery, symboly či interpunkcia, aby text bol ľahšie čitateľný a spracovateľný.
2. Štandardizácia obsahu
   Normalizuje text – interpretuje úmyselné preklepy („h8te“ na „hate“) alebo rozdelené slová („I d i o t“).
3. Odhalenie vzorcov
   Identifikuje opakujúce sa stratégie maskovania, ako sú zložené slová („IdiotFace“) či skryté urážky v inak neškodných frázach, a odhaľuje skrytý význam.

Výhody a aplikácie

Tento nástroj je užitočný pre sociálne siete, firmy aj organizácie. Zvyšuje ochranu mladších používateľov pred online šikanou, pomáha firmám rýchlo reagovať na negatívne kampane a udržiava rešpekt v často polarizovaných diskusiách.

Hoci súčasné riešenie zlepšuje detekciu toxicity, budúcnosť moderovania bude musieť hlbšie pochopiť kontext, význam slov v závislosti od situácie, kultúrnych rozdielov a úmyslov. Tento nástroj tak predstavuje cestu k bezpečnejšiemu online prostrediu a pozitívnejšej komunikácii.

Zdroj: TechXplore