Klasterli tahlil

Klasterli tahlil Reja: Klasterizatsiya usullari K-means usuli Klasterli tahlil Klasterli tahlil (cluster analysis) - berilganlarni to'plash, tanlov obyektlari haqidagi ma'lumotlarni saqlovchi va ularni bir jinsli guruhlarga nisbatan tartiblashni bajaruvchi ko'p o'lchamli statistik protseduradir. Klasterizatsiya masalalari o'qituvchisiz o'rgatish masalalari sinfiga kiradi. Klasterli tahlil quyidagi asosiy vazifalarni bajaradi: Tipologiya yoki klassifikatsiyani qayta ishlash. obyektlarni guruhlash uchun foydali kontseptual sxemalar tadqiqoti. Berilganlarni tadqiq qilish asosida gipotezalar topish. Gipotezalarni tekshirish Klasterizatsiyaning maqsadi: Berilganlarni klasterli strukturasini aniqlash orqali tushunish. Tanlovni o'xshash obyektlar guruhlariga ajratish keyingi qadamdagi berilganlarni qayta ishlash va qaror qabul qilishni osonlashtiradi. Yani, har bir klasterga mos tahlil usuli qo'llaniladi (bo'lib tashla va hukmronlik qil strategiyasi). Berilganlarni siqish. Agar tanlov keragidan ortiq katta bo'lsa, har bir klasterdan 1 tadan eng katta tipik o'rinbosar qoldiriladi. Yangiliklarni aniqlash (novelty detection). Hech qaysi klasterga kirmaydigan notipik obyektlar ajratib olinadi. Birinchi holda klasterlar soni kamaytirishga harakat qilinadi. Ikkinchi holda har bir klaster ichida obyektlar o'xshashligi eng yuqori darajada bo'lishi muhim, klasterlar soni istagancha bo'lishi mumkin. Uchinchi holatda eng katta etibor hech qaysi klasterga kirmaydigan obyektlarga qaratiladi. Bu barcha holatda ierarxik klasterizatsiya qo'llash mumkin, yani, katta klasterlar kichik klasterlarga, kichik klasterlar o'z navbatida yana ham kichikroq klasterlarga va h.k. ajratilishi mumkin. Bunday masalalar taksonomiya masalalari deyiladi. Taksonomiyaning natijasi daraxt ko'rinishidagi ierarxik struktura bo'ladi. Klasterizatsiya usullari Klasterizatsiya usullarining umumiy qabul qilingan sinflanishi yo'q, lekin, bir nechta yondashuv guruhlarga bo'lish mumkin: 1. Ehtimolli yondashuv. Har bir qaralayotgan obyekt k sinfdan biriga tegishli deb qaraladi. K-means K-medians EM-algoritm (Expectation-maximization (EM) algorithm) FOREL algoritmlar oilasi Diskriminantli tahlil 2. sun'iy intellekt tizimlariga asoslangan yondashuv. C-means Koxonen neyron to'ri Genetik algoritm 3. Mantiqiy yondashuv. Dendrogrammalarni qurish qaror daraxtlari yordamida amalga oshiriladi. 4. Nazariy - grafli yondashuv. Klasterizatsiyaning grafli algoritmlari 5. Ierarxik yondashuv. Bu guruh algoritmlari aglomerativ (birlashtiruvchi) va diviziv (ajratuvchi) guruhlarga ajraladi. Alomatlar soniga qarab monotetik va politetik klassifikatsiya usullariga ajraladi. Ierarxik diviziv klasterizatsiya yoki taksonomiya. 6. Boshqa usullar. Yuqoridagi guruhlarga kirmaydiganlar. Klasterizatsiyaning statistik algoritmlari Klasterizatorlar ansambli KRAB algoritmlar oilasi Elash usuli asosidagi algoritm DBSCAN va b. Sanab o'tilgan usullar o'rtasida farqlar bo'lishiga qaramasdan barchasi kompaktlik gipotezasiga tayanadi, yani, obyektlar fazosida barcha yaqin obyektlar bir klasterga, barcha farqli obyektlar mos ravishda turli klasterlarga tegishli bo'lishlari shart. K-means usuli K-means (k-o'rtacha) usuli 1950 yillarda Gugo Shteyngauz va Styuard Lloydlar tomonidan bir vaqtda kashf qilingan klasterizatsiyaning eng mashhur usulidir. Algoritmning mazmuni klaster nuqta (obyekt)larining shu klaster markazidan kvadratik og'ishining yig'indisini minimizatsiya qilishga harakat qilinadi: bu yerda k - klasterlar soni, - olingan klasterlar, va - esa ...