Egy új tanulmány arra kéri a ChatGPT-t, hogy találjon hibákat a példa kódokban, és javasoljon javítást. Jobban működik, mint a létező programok, 40-ből 31 hibát javít.
A ChatGPT mesterséges intelligenciabotot számos feladaton próbára tették az elmúlt hetekben, és a legújabb kihívás a Johannes Gutenberg Egyetem és a University College London számítástechnikai kutatóinak köszönhető, akik rájöttek, hogy a ChatGPT képes gyomlálni. A hibákat mintakóddal javítsa ki, és jobban kijavítsa, mint a meglévő, ugyanerre tervezett programok.
A kutatók 40 darab hibás kódot adtak négy különböző kódrögzítő rendszernek: ChatGPT, Codex, CoCoNut és Standard APR. Lényegében megkérdezték a ChatGPT-től: “Mi a baj ezzel a kóddal?” majd másolja és illessze be a chat funkcióba.
Az első lépésben a ChatGPT nagyjából úgy teljesített, mint a többi rendszer. A ChatGPT 19 problémát, a Codex 21-et, a CoCoNut 19-et, a szabványos APR módszerek pedig hetet oldottak meg. A kutatók azt találták, hogy válaszai leginkább a Codex-hez hasonlítanak, ami “nem volt meglepő, mivel a ChatGPT és a Codex ugyanabból a nyelvi modellcsaládból származik”.
Azonban a ChatGPT-vel való csevegés lehetősége a kezdeti válasz megérkezése után megváltoztatta, végül a ChatGPT 31 kérdést megoldott, és könnyedén felülmúlta a többit, amelyek statikusabb válaszokat adtak.
“A ChatGPT hatalmas előnye, hogy párbeszédben interakcióba léphetünk a rendszerrel, hogy részletesebben meghatározzuk a kérést” – áll a kutatók jelentésében. “Azt látjuk, hogy a legtöbb kérésünknél a ChatGPT további információkat kér a problémáról és a hibáról. Ha ilyen tippeket ad a ChatGPT-nek, a siker aránya tovább növelhető, 40 hibából 31-et kijavít, ami felülmúlja a jelenlegi állapotot.