Na konferenciji IEEE SANER 2024 u Rovaniemiju, Finska, predstavili smo rad „On the Stability and Applicability of Deep Learning in Fault Localization“ (Csuvik, Aszmann, Beszédes, Horváth i Gyimóthy).
U radu smo više puta trenirali modele dubokog učenja za lokalizaciju grešaka (MLP, CNN i RNN) na skupu Defects4J, sa istim ulazom, ali različitom nasumičnom inicijalizacijom. Rangiranja su se znatno razlikovala između treniranja: 90% dobijenih rangova bilo je drugačije u narednim pokretanjima. Optimizacija meta-parametara, jednostavniji modeli i ponovno uzorkovanje delimično su pomogli, ali modeli ni tada nisu bili dovoljno stabilni za pouzdane rezultate.
Zaključak koji nas i dalje prati: model koji jednom postigne dobar rezultat ne mora se isto ponašati pri sledećem pokretanju. Veštačkoj inteligenciji u produkciji potrebni su ponovljivi rezultati.
Rad: na stranici izdavača
