A neighbor-assisted metaheuristic approach for high-dimensional feature selection

In recent years, with the widespread adoption of big data applications, the use of high-dimensional datasets has increased in many fields. However, the large number of features in these datasets increases the computational cost of classification algorithms and may lead to a decrease in model performance due to the curse of dimensionality. To overcome these problems, feature selection (FS) methods that eliminate irrelevant and redundant features from datasets have been widely used. In this thesis, the FS problem in high-dimensional datasets is addressed. For this purpose, a hybrid FS approach, which combines filter and wrapper-based methods, is developed. In the proposed method, Neighborhood Component Analysis (NCA) is used in the filtering stage. All features are scored using NCA, and the obtained scores are used to increase the selection probability of features with high scores in the initial population. Subsequently, Grey Wolf Optimizer (GWO) is employed as the optimization algorithm to search for optimal feature subsets. The method achieves the same or higher classification accuracy with fewer selected features compared to the randomly initialized standard GWO approach. The method is evaluated on eight high-dimensional microarray datasets. The obtained feature reduction rates ranging from 96.56% to 99.21% demonstrate that the method is an effective FS approach for high-dimensional datasets. In addition, a comprehensive literature review on surrogate models and surrogate-assisted methods used to reduce the computational cost of FS problems in high-dimensional datasets is conducted within the scope of this thesis. In this review, different surrogate model types, model management strategies, and surrogate-assisted FS approaches are discussed in detail.

Son yıllarda büyük veri uygulamalarının yaygınlaşmasıyla birlikte yüksek boyutlu veri setlerinin kullanımı birçok alanda artış göstermiştir. Ancak bu veri setlerinde bulunan fazla sayıdaki öznitelik, sınıflandırma algoritmalarının hesaplama maliyetini artırmakta ve boyutsallık laneti nedeniyle model performansının düşmesine neden olabilmektedir. Bu problemlerin üstesinden gelmek amacıyla, gereksiz ve ilgisiz özniteliklerin veri setinden çıkarılmasını sağlayan öznitelik seçimi yöntemleri yaygın olarak kullanılmaktadır. Bu tez kapsamında, yüksek boyutlu veri setlerinde öznitelik seçimi problemi ele alınmıştır. Bu amaçla, filtre ve sarmalayıcı tabanlı yöntemlerin birlikte kullanıldığı hibrit bir öznitelik seçimi yaklaşımı geliştirilmiştir. Önerilen yöntemde filtre aşamasında Neighborhood Component Analysis (NCA) kullanılmıştır. NCA ile tüm öznitelikler puanlanmış ve elde edilen skorlar kullanılarak yüksek puana sahip özniteliklerin başlangıç popülasyonunda seçilme olasılığı artırılmıştır. Ardından, optimizasyon algoritması olarak Grey Wolf Optimizer (GWO) kullanılarak optimum öznitelik alt kümeleri aranmıştır. Yöntem, rastgele başlatılan standart GWO yaklaşımına kıyasla daha az sayıda öznitelik kullanarak aynı veya daha yüksek sınıflandırma doğruluğuna ulaşmıştır. Yöntem, sekiz yüksek boyutlu mikroarray veri seti üzerinde değerlendirilmiştir. %96.56 ile %99.21 arasında öznitelik azaltma oranı elde eden yöntem, yüksek boyutlu veri setlerinde etkili bir öznitelik seçimi yöntemi olduğunu ortaya koymaktadır. Ayrıca bu tez kapsamında, yüksek boyutlu veri setlerinde öznitelik seçimi problemleri için hesaplama maliyetini düşürme amacıyla kullanılan vekil modeller ve vekil destekli yöntemlere dair kapsamlı bir literatür araştırması yapılmıştır. Yapılan incelemede, farklı vekil model türleri, vekil model yönetim stratejileri ve vekil destekli öznitelik seçimi yaklaşımları detaylı olarak ele alınmıştır.