Musa Kazım, 1882 yılında İstanbul'da doğdu. Babası Mehmet Emin Paşa, jandarma subayıydı. Görevi gereği Osmanlı İmparatorluğu'nun değişik yerlerine tayin edildiği için Kazım da ailesiyle birçok değişik yer gördü. Gördüğü yerler içinde Van, Harput, Mekke onun zihninde en fazla iz bırakan yer oldu.

Annesi Havva Hanım, nereye gittilerse oğlunun yetişmesi, eğitimi için büyük çaba harcadı. Aile, Karaman'ın Kasaba köyü doğumlu... Bu köy, günümüzde Kazımkarabekir ilçesi... Aile, Avşar Türklerinden Karabekiroğulları soyundan geliyordu. Kazım ortaokul çağına gelene kadar aile babanın görevi gereği bazı illerde yaşadı.

Fatih'teki Askeri Rüştiye'de ortaokula başladı. Ortaokul bitince Kuleli ASker Lisesi'ne gitti. Lisede başarılı bir öğrenciydi. Liseden sonra gittiği Harp Okulu'nu 1902 yılında bitirdi.