A 18th International Conference on Software Technologies (ICSOFT 2023) konferencián (Róma, Olaszország) bemutattuk tanulmányunkat: „Can ChatGPT Fix My Code?” (Csuvik, Gyimóthy és Vidács).
A ChatGPT-től javítási javaslatokat kértünk ismert programjavítási adathalmazokból vett valós hibákra, 1000 bemenetet generáltunk, és minden választ kézzel ellenőriztünk. A ChatGPT a fejlesztők által írtakkal egyenértékű javításokat is adott, de a prompt sokat számított: átlagosan az esetek 19%-ában javasolt javítást, rossz bemeneti formátummal viszont ez akár 6%-ra is visszaesett.
Korai, józan áttekintés volt arról, mit tud és mit nem tud kijavítani egy csevegőmodell.
A tanulmány: a kiadó oldalán
