Kulübün, OPPV'nin (eski Sovyetler Birliği'ndeki Genel askeri eğitim hizmetinin bir bölümü) himayesinde toplanan takımın Moskova Şampiyonası'na katıldığı 1923'te kurulduğu biliniyor.
İlk SSCB Şampiyonası deneyimi, 1938'de CDKA ("Kızıl Ordu'nun merkezi evi" olarak çevrilebilir) olarak bilinen takıma geldi. Ancak 1937'den önce SSCB Şampiyonası'nın özünde şehirlerin rekabeti olduğunu belirtmekte fayda var. ,kulüpler değil ve kadrosunda CDKA oyuncularının bulunduğu Moskova takımı turnuvayı üç kez kazandı (1924, 1928 ve 1935'te). Büyük Vatanseverlik Savaşı'ndan sonra CDKA, SSCB Şampiyonasına yeniden katıldı ve ilk denemesinde altın madalya kazanmak için sonuna kadar gitti.
İki yıl boyunca (1953 ve 1954) takım, 1955'te CSK MO (Savunma Bakanlığı Merkez Spor Kulübü) ile değiştirilen CDSA (Sovyet Ordusu Merkez Binası) adını taşıyordu. Ancak bu, benimsenene kadar değildi. 1960 yılında bugünkü adını alan kulüp, ikna edici derecede güçlü bir dizi sonucu bir araya getirmeyi başardı. Evgeny Alekseev ve daha sonra Armenak Alatchatchan'ın dümende olduğu CSKA, 1961, 1963 ve 1969'da birkaç yerel şampiyonluğun yanı sıra üç Avrupa Şampiyonlar Kupası kazandı.
1969, efsanevi Alexander Gomelskiy'nin kişileştirdiği büyük bir çağın başlangıcına işaret ediyordu. 1980 yılına kadar takımın baş antrenörü olarak görev yaptığı süre boyunca CSKA, SSCB Şampiyonasını yalnızca bir kez kazanamadı. Ayrıca, 1971'de kulüp kupa kasasına dördüncü Avrupa Şampiyonlar Kupası'nı ekledi. CSKA, Yuri Selikhov ve ardından arka arkaya sekiz SSCB şampiyonluğu kazanarak “ebedi” rekoru kıran Sergei Belov yönetiminde galibiyet yollarına devam etti.
SSCB'nin varlığının son yıllarına CSKA ile Zalgiris Kaunas arasındaki kötü şöhretli şiddetli rekabet damgasını vurdu. Aksine, kulüp, Rusya Şampiyonası'nın varlığının ilk yıllarında çok az veya hiç rekabetle karşı karşıya kaldı. Stanislav Eremin'in hükümdarlığı sırasında arka arkaya dokuz altın madalya kazanan CSKA, ardından iki kez Ural Great'e yenildi ve bu da kulüp başkanı Alexander Gomelskiy'nin bazı önemli personel hamleleri yapmasına neden oldu.
Dusan Ivkovic'in işe alınmasıyla birlikte takımın ve kulübün altyapısındaki önemli iyileştirmeler, CSKA'nın yerel hakimiyete geri dönmesinin yanı sıra Euroleague Final Four'larının daimi bir katılımcısı olmasını sağladı. Yine de, uzun bir aradan sonra ilk Avrupa başarısı, takımın Ettore Messina yönetimindeki ilk yılı olan 2006'ya kadar elde edilemedi . Messina'nın başında olduğu üç sezon, kulübe iki Euroleague şampiyonluğu kazandırdı. Ayrıca CSKA artık art arda yedi Final Four maçına çıkmakla övünebilir.
