Megéri-e finomhangolni a GPT-2-t? Az ICCSA 2022-n

Megéri‑e finomhangolni a GPT-2‑t? Az ICCSA 2022‑n

Megjelent a Lecture Notes in Computer Science 13380. kötetében: „Fine-Tuning GPT-2 to Patch Programs, Is It Worth It?” (Lajkó, Horváth, Csuvik és Vidács).

Az automatikus programjavításhoz kevés tanítóadat áll rendelkezésre, és előállítása drága, ezért a GPT-2 modellt finomhangolás nélkül és finomhangolva is kiértékeltük 1559 JavaScript-kódrészleten. A finomhangolt modell szinte minden próbálkozásra szintaktikailag helyes kódot írt, a finomhangolás nélküli modellből viszont ezek az erősségek részben hiányoztak.

A tanulmány: a kiadó oldalán

AI-funkciót terveznek?

Nyelvi modellekre épülő termékeket építünk úgy, hogy az ellenőrzés, a naplózás és az emberi felülvizsgálat az első sprinttől a tervek része – és a legtöbb együttműködés egy ingyenes, egyhetes próbaprojekttel indul egy megnevezett folyamatra.

Foglaljon 20 percet ViktorralKüldjön üzenetet