Na 18th International Conference on Software Technologies (ICSOFT 2023) u Rimu, Italija, predstavili smo rad „Can ChatGPT Fix My Code?“ (Csuvik, Gyimóthy i Vidács).
Od ChatGPT-ja smo tražili predloge popravki za stvarne greške iz poznatih skupova podataka za popravljanje programa, generisali 1.000 ulaza i svaki odgovor ručno proverili. ChatGPT je davao ispravke ravnopravne onima koje pišu programeri, ali je prompt bio presudan: u proseku je predložio ispravku u 19% slučajeva, a pogrešan format ulaza spuštao je to na svega 6%.
Bio je to rani, odmeren pogled na to šta model za ćaskanje može, a šta ne može da popravi.
Rad: na stranici izdavača
