Hyperparameter optimization of support vector machines with a new algorithm combining grid search and particle swarm optimization
| dc.contributor.advisor | Açıkkar, Mustafa | |
| dc.contributor.author | Altunkol, Yunus | |
| dc.date.accessioned | 2025-01-06T17:11:35Z | |
| dc.date.available | 2025-01-06T17:11:35Z | |
| dc.date.issued | 2022 | |
| dc.department | Enstitüler, Lisansüstü Eğitim Enstitüsü, Elektrik-Elektronik Mühendisliği Anabilim Dalı | |
| dc.description | Fen Bilimleri Enstitüsü, Elektrik-Elektronik Mühendisliği Ana Bilim Dalı, Elektrik Elektronik Mühendisliği Bilim Dalı | |
| dc.description.abstract | Hiperparametre optimizasyonu, tüm makine öğrenimi algoritmalarında olduğu gibi Destek Vektör Makinelerinin (SVM) tahmin doğruluğunu iyileştirmede de hayati önem taşır. Bu çalışma; iki güçlü ve yaygın olarak kullanılan algoritmayı, Parçacık Sürü Optimizasyonu (PSO) ve Izgara Araması'nı (GS), birleştiren yeni bir hibrit optimizasyon algoritması olan PSOGS'yi tanıtmaktadır. Bu hibrit algoritma, on iki veri kümesi üzerinde denenmiştir. PSOGS'nin hızı ve PSOGS ile optimize edilmiş SVM modellerinin (PSOGS-SVM) tahmin doğruluğu, onu oluşturan algoritmaların (PSO ve GS) ve PSO ile Yerçekimi Arama Algoritmasını (GSA) birleştiren başka bir hibrit optimizasyon algoritması (PSOGSA) ile karşılaştırılmıştır. Tahmin doğrulukları, sınıflandırma problemleri için Tahmin Doğruluğu ve F-Skoru ve regresyon problemleri için Ortalama Kareler Hatası, Ortalama Mutlak Yüzde Hatası ve Çoklu Korelasyon Katsayısı açısından değerlendirilmiş ve karşılaştırılmıştır. Geliştirilen modellerin güvenilirliğini sağlamak için, 30 farklı deneme ve 10 kat çapraz doğrulama yapılarak deneylerin sonuçları elde edilmiştir. Sonuçlar, PSOGS'nin GS ile karşılaştırılabilir tahmin doğruluğu sağladığını, GS'den çok daha hızlı performans gösterdiğini, PSO'dan daha kısa çalışma süresi ile biraz daha iyi sonuçlar sağladığını göstermiştir. Ayrıca PSOGS-SVM'nin hem tahmin doğruluğu hem de çalışma süresi açısından PSOGSA-SVM'den daha etkili sonuçlar sunduğu görülmüştür. Sonuç olarak bu çalışma, PSOGS'nin SVM hiperparametrelerini optimize etmek için hızlı, kararlı, verimli ve güvenilir bir algoritma olduğunu kanıtlamıştır. | |
| dc.description.abstract | Hyperparameter optimization is vital in improving the prediction accuracy of Support Vector Machines (SVM) as in all machine learning algorithms. This study introduces a new hybrid optimization algorithm, namely PSOGS, which consolidates two strong and widely used algorithms; Particle Swarm Optimization (PSO) and Grid Search (GS). This hybrid algorithm experimented on twelve benchmark datasets. The speed of PSOGS and the prediction accuracy of PSOGS-optimized SVM models (PSOGS-SVM) were compared to those of its constituent algorithms (PSO and GS) and another hybrid optimization algorithm (PSOGSA) that combines PSO and Gravitational Search Algorithm (GSA). The prediction accuracies were evaluated and compared in terms of Accuracy and F-Score for classification problems and Root Mean Square Error, Mean Absolute Percentage Error, and Multiple Correlation Coefficient for regression problems. For the sake of reliability, the results of the experiments were obtained by performing 10-fold cross-validation on 30 runs. The results showed that PSOGS yields comparable prediction accuracy with GS, performs much faster than GS, provides slightly better results with less execution time than PSO. Besides, PSOGS-SVM presents more effective results than PSOGSA-SVM in terms of both prediction accuracy and execution time. As a result, this study proved that PSOGS is a fast, stable, efficient, and reliable algorithm for optimizing hyperparameters of SVM. | |
| dc.identifier.endpage | 74 | |
| dc.identifier.startpage | 1 | |
| dc.identifier.uri | https://tez.yok.gov.tr/UlusalTezMerkezi/TezGoster?key=CG8WvdvvxJP04Unr7Yecf2bWsqqICh2zQd79CKuvDcH7x8nt2tCX-PApWEG4r1Nx | |
| dc.identifier.uri | https://hdl.handle.net/20.500.14669/100 | |
| dc.identifier.yoktezid | 725909 | |
| dc.language.iso | en | |
| dc.publisher | Adana Alparslan Türkeş Bilim ve Teknoloji Üniversitesi | |
| dc.relation.publicationcategory | Tez | |
| dc.rights | info:eu-repo/semantics/openAccess | |
| dc.snmz | KA_20241211 | |
| dc.subject | Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol | |
| dc.subject | Computer Engineering and Computer Science and Control | |
| dc.title | Hyperparameter optimization of support vector machines with a new algorithm combining grid search and particle swarm optimization | |
| dc.title.alternative | Izgara arama ve parçacık sürüsü optimizasyonunu birleştiren yeni bir algoritma ile destek vektör makinelerinin hiperparametre optimizasyonu | |
| dc.type | Master Thesis |
