Melikşah'tan sonra sırasıyla başa geçen I. Mahmud (1092-1094), Berkyaruk (1094-1105), Müizzeddin Melikşah (1105-1105) ve Mehmed Tapar (1105-1118) dönemlerinde Büyük Selçuklu Devleti gücünü ve eyaletlerdeki merkezi denetimini giderek yitirdi. 1118'de tahta çıkan Ahmed Sencer’in ülke topraklarını yeniden birleştirme çabası da başarılı olduysa da devlet hiçbir zaman Melikşah dönemindeki sınırlarına ve otoritesine kavuşamadı. 1128 yılında Doğudaki Doğu ve Batı Karahanlı Devletlerine boyun eğdiren Karahitaylar Selçuklu Devleti ile komşu oldu ve baskı yaratmaya başladı. 1141 yılında Karahitay ve Selçuklu orduları arasındaki Katvan Savaşı'nda yenilgiye uğrayan Selçuklu Devleti hızlı bir dağılma sürecine girdi. Karahitayların devletin en verimli toprakları olanMaveraünnehir'i işgal etmeleri Selçuklu Devleti'nin ekonomisini ve ordusunu iyice sıkıntıya soktu. Sultan Sencer, giderek artan ekonomik buhran nedeniyle ayaklanan göçebe Oğuzlara 1153'te tutsak düştü. İki yıl sonra kaçarak kurtulduysa da ülkede iktidarını yeniden sağlayamadan 1157’de öldü. Büyük Selçuklu Devleti böylece sona erdi. Bu tarihten sonra Büyük Selçukluların toprakları büyük ölçüde Harezmşahların denetimi altına girdi.
Hanedan üyeleri yönettikleri bölgelerde bağımsız davranmaya başladılar. Daha önce bağımsızlıklarını ilan etmiş olan Selçuklu hanedanın kurduğu devletlerden yalnızca Anadolu Selçuklu Devleti, yüz yılı aşkın bir süre daha ayakta kalabildi. Ayrıca devletin gerilemesinin sebepleri arasında Haçlı seferleri, Fatimiler ile olan çatışmalar, Hasan Sabbah'ın Bâtınîlik propogandaları ve Oğuz boylarının ayaklanmaları sayılabilir. Bunun sonucunda ise Abbasi halifeleri Selçuklu egemenliğinden kurtulmak için bir takım çalışmalar yürütmüştür. Bunlar Selçuklu Devleti'nin yıkılmasına neden olan etkenler ve nedenlerdir. Özet olarak Büyük Selçuklu Devleti'nin yıkılma nedenleri olarak aşağıdaki nedenler sayılabilir:
Merkezi otoritenin zayıflaması
Taht kavgaları
Oğuz isyanları
Haçlı Seferlerinin başlaması
Atabeylerin bağımsız hareket etmesi
Abbâsi Halifelerinin Selçuklu egemenliğinden kurtulmak için yürüttüğü bir takım çalışmalar
Bâtınîlik hareketleri
Fatimiler ve Şiilerin yıpratmaları
Şehzade ayaklanmaları
Katvan mağlubiyeti ve Karahitayların istilası
Kötü yönetim
