Tayanch vektorlar usuli (SVM)

Tayanch vektorlar usuli (SVM) Reja: Chiziqli ajraluvchi tanlov uchun SVM Chiziqli ajralmaydigan tanlov uchun SVM Yadrolar va to'g'irlovchi fa'zolar Tayanch vektorlar usuli (SVM) 60-70 yillarda V.N. Vapnik rahbarligidagi matematiklar guruhi optimal ajratuvchi gipertekislikni qurishga asoslangan umulashgan portret usulini ishlab chiqdilar. Optimallikka qo'yilgan talab, o'rgatilayotgan obyektlar ajratuvchi tekislikdan iloji boricha uzoqda bo'lishi shart. 90-yillarda usul keng tanildi va bir qancha o'zgartirishlardan keyin tayanch vektorlar usuli (support vector machine, SVM) deya nom oldi. Hozirgi kunda bu usul eng yaxshi klassifikatsiya usullaridan hisoblanadi. SVM usuli bir nechta ajoyib xususiyatlarga ega. Birinchidan, SVM ni o'rgatish hatto yuz minglagan obyektdan iborat tanlovda ham etarlicha samarali hisoblanadigan yagona yechimga ega bo'lgan kvadratik programmalash masalasiga keltiriladi. Ikkinchidan, yechim siyraqlanganlik xususiyatiga ega, yani, optimal ajratuvchi gipertekislikning joylashishi o'rgatuvchi obyektlarning juda kam qismiga bog'liq. Ular tayanch vektorlar deyiladi va qolgan obyektlar qatnashmaydilar. Va nihoyat, yadro funksiyasini kiritish orqali matematik yo'l bilan SVM nochiziqli ajratuvchi yuza holati uchun ham umumlashtirildi. Berilgan amaliy masala uchun yadro tanlash savoli haligacha nazariy muammo bo'lib ochiq qolmoqda. Chiziqli ajraluvchi tanlov uchun SVM Ikkita kesishmaydigan sinf uchun klassifikatsiya masalasini qaraymiz, bunda obyektlar o'lchovli vektorlar orqali ifodalanadi: , Chiziqli ostonali klassifikator quramiz: bu yerda, - obyektning alomatlar tavsifi, - vektor va - skalyar ostonalar algoritmning parametrlari. tenglama sinflarni da ajratuvchi gipertekislikni ifodalaydi. Faraz qilaylik, tanlov chiziqli ajraluvchi va (6.1) funksional nol qiymatga teng bo'ladigan parametrlar mavjud bo'lsin. Agar ni bir xil musbat konstanta qiymatga ko'paytirsak algoritm o'zgarmaydi. Bu konstantani shart bajariladigan qilib tanlanadi. nuqtalar to'plami sinflarni ajratadigan yo'lakni ifodalaydi. O'rgatuvchi tanlovdan hech biri bu yo'lak ichiga tushmaydi. Yo'lakni chegaralari bo'lib normal vektori bilan ikkita parallel gipertekislik xizmat qiladi. Ajratuvchi gipertekislik ularning qoq o'rtasidan o'tadi va unga eng yaqin obyektlar yo'lakning chegarasida yotadilar, aynan o'sha obyektlar (6.1) ni minimumga erishtiradi. Ajratuvchi gipertekislik tanlov obyektlaridan imkon qadar uzoq turishi uchun yo'lakning kengligi maksimal bo'lishi kerak. yo'lakning chegarasidagi mos ravishda -1 va +1 sinf o'rgatuvchi obyektlari bo'lsin. U holda yo'lak kengligi: Bundan yo'lak maksimal bo'lishi uchun normal vektori minimal bo'lishi kerak va quyidagicha kvadratik programmlash masalasiga keltiriladi: ( 6.2) Amaliyotda chiziqli ajraluvchi sinflar juda kam uchraydi. Shuning uchun, (6.2) masala qo'yilishini ixtiyoriy holat uchun modifikatsiya qilish kerak. Chiziqli ajralmaydigan tanlov uchun SVM obyektlardagi xatolik qiymatini ifodalovchi yordamchi o'zgaruvchini kiritamiz. (6.2) tengsizlik chegaralanishni bo'shashtiramiz va bir vaqtda xatoliklar yig'indisi uchun jarimani minimallashtiruvchi funksionalni kiritamiz: (6.3) Musbat konstanta usulning boshqaruvchi parametri deyiladi va u odatda sirg'aluvchi nazorat yordamida tanlanadi. (6.3) ning yechimi ning qanday tanlanishiga juda sezuvchan emas va uning juda ...