Nemcsak a szöveget, a mögötte álló ötleteket is vizsgálja az új MI-detektor

Image by magnific.

Új módszert fejlesztettek a mesterséges intelligencia által készített kutatási munkák felismerésére. Az IdeaLens nevű eszköz nem elsősorban a szavakat és a mondatszerkezeteket elemzi, hanem azt próbálja megállapítani, hogy a dokumentum alapjául szolgáló gondolatok embertől vagy mesterséges intelligenciától származnak-e. A fejlesztés a tudományos folyóiratoknak segíthet elkülöníteni a teljes egészében MI-vel készített munkákat azoktól, amelyeket csak nyelvileg javítottak MI-eszközökkel.

Az amerikai Marylandi Egyetem, a Google DeepMind és a kanadai Simon Fraser Egyetem kutatói által kidolgozott rendszert mintegy egymillió, emberi vagy mesterséges intelligencia által írtként megjelölt dokumentumon tanították be. A nyelvi modellek segítségével eltávolították az eredeti megfogalmazást, és a szövegeket a fő érveik és gondolataik vázlatára egyszerűsítették. Így az algoritmusnak nem az írásstílusból, hanem a tartalmi jellemzőkből kellett következtetnie az eredetre.

A kutatók tesztjeiben az IdeaLens az egyértelműen ember vagy MI által készített dokumentumok 91 százalékát helyesen azonosította, míg az emberi szövegeket az esetek 0,6 százalékában sorolta tévesen azok közé, amelyeket a mesterséges intelligencia írt. Az eszköz különösen jól teljesített azoknál az anyagoknál, amelyeket emberek írtak, majd kisebb MI-alapú szerkesztésen estek át: ezek 95 százalékát emberi munkának minősítette.

Az eredmények ugyanakkor azt is megmutatták, hogy a módszer nem minden helyzetben működik egyformán jól. Ha a mesterséges intelligencia ember által készített részletes vázlatból írta meg a szöveget, az IdeaLens az MI közreműködését mindössze az esetek 7 százalékában ismerte fel. Ezzel szemben, amikor ember fogalmazott meg egy MI által létrehozott vázlatot, a rendszer 68 százalékban azonosította a mesterséges intelligencia szerepét. A hagyományos detektorok ebben az utóbbi helyzetben jóval gyengébben teljesítettek.

A kutatók szerint az emberi gondolatmenetekre gyakrabban jellemzőek a konkrét részletek, az ellenőrizhető források és a korlátok elismerése, míg az MI által generált ötletek között általános állítások, nehezen ellenőrizhető adatok és túlzottan magabiztos következtetések is előfordulhatnak. Az IdeaLens azonban egyelőre nem alkalmas arra, hogy önmagában döntsön vitatott szerzőségi ügyekben: az újabb MI-modellekkel szembeni megbízhatóságát további vizsgálatokkal kell igazolni.