Hyper-parameter optimization of deep neural networks with metaheuristic algorithms

Kalp ritim bozuklukları (aritmiler), dünya çapında önde gelen ölüm nedeni olan kalp-damar hastalığının bir göstergesidir ve bir elektrokardiyogram (EKG) ile saptanabilir. Tıp uzmanlarınca elle yorumlamanın elverişsizliklerinin üstesinden gelmek için otomatik derin öğrenme yöntemleri geliştirilmiştir. Yapay sinir ağlarının başarımı, büyük ölçüde hiper-parametre en iyileştirmesine (HPEİ) bağlıdır ve bu NP-zor sorun, meta-sezgisel (MS) yöntemler için uygundur. Bu çalışmada, bir MS algoritması kullanan bir evrişimsel sinir ağı (ESA) aritmi sınıflandırıcısının HPEİ'si için yeni bir yöntem önerilmiştir. Yaklaşım, çözümlerin değerlendirmelerini saklayan ve hesaplama süresini önemli ölçüde azaltan ek bir bellek birimine sahip, bellek-geliştirmeli yapay sinek kuşu algoritması adlı bir MS yöntem varyantımızı kullanmaktadır. Çalışma ayrıca, her aday ağın hem doğruluk oranını hem de toplam parametre sayısını göz önüne alan yeni bir uygunluk işlevi önermektedir. Deneyler, MIT-BIH aritmi veri tabanından alınan işlenmemiş EKG örnekleri üzerinde gerçekleştirildi. Önerilen yöntem, üç başka MS yöntemiyle karşılaştırıldı ve %98,87'ye ulaşan sınıflandırma doğruluğu ile eşit ya da daha iyi başarım gösteren sonuçlar elde etti. Önerilen yöntem, göreceli olarak daha düşük karmaşıklık ile yüksek başarımlı bir çözüm bulma konusunda umut verici sonuçlar vermiştir.

Cardiac arrhythmias indicate cardiovascular disease, which is the leading cause of mortality worldwide, and can be detected by an electrocardiogram (ECG). Automated deep learning methods have been developed to overcome the disadvantages of manual interpretation by medical experts. The performance of artificial neural networks strongly depends on hyperparameter optimization (HPO), and this NP-hard problem is suitable for metaheuristic (MH) methods. In this study, a novel method is proposed for the HPO of a convolutional neural network (CNN) arrhythmia classifier using an MH algorithm. The approach utilizes our variant of an MH method, named the memory-enhanced artificial hummingbird algorithm, which has an additional memory unit that stores the evaluations of the solutions and reduces the computation time significantly. The study also proposes a novel fitness function that considers both the accuracy rate and the total number of parameters of each candidate network. Experiments were conducted on raw ECG samples from the MIT-BIH arrhythmia database. The proposed method was compared with three other MH methods and achieved equal or outperforming results, with classification accuracy reaching 98.87%. The proposed method yielded promising results in finding a high-performing solution with relatively lower complexity.