Az IEEE SANER 2024 konferencián (Rovaniemi, Finnország) bemutattuk tanulmányunkat: „On the Stability and Applicability of Deep Learning in Fault Localization” (Csuvik, Aszmann, Beszédes, Horváth és Gyimóthy).
A tanulmányban mélytanulásos hibalokalizációs modelleket (MLP, CNN és RNN) tanítottunk a Defects4J adathalmazon többször egymás után, azonos bemenettel, de eltérő véletlen kezdőértékekkel. Az egyes tanítások rangsorai jelentősen eltértek: az előállított rangsorok 90%-a különbözött a következő futásokban. A meta-paraméterek optimalizálása, az egyszerűbb modellek és az újramintavételezés részben segített, de a modellek így sem lettek elég stabilak a megbízható eredményekhez.
Ami azóta is velünk maradt: egy modell, amely egyszer jól teljesít, a következő futásnál nem feltétlenül viselkedik ugyanúgy. Az éles MI-rendszereknek megismételhető eredmények kellenek.
A tanulmány: a kiadó oldalán
