Mahkamah Agung telah ditubuhkan di bawah Perjanjian Persekutuan Tanah Melayu 1948.

Mahkamah Agung digantikan dengan Mahkamah Persekutuan dan tiga Mahkamah Tinggi iaitu Mahkamah Tinggi Malaya, Mahkamah Tinggi Singapura dan Mahkamah Tinggi Borneo. Pada 9 Ogos 1965, Singapura telah membuat keputusan untuk keluar daripada Malaysia. Oleh yang demikian, hanya Mahkamah  Tinggi Malaya dan Mahkamah Tinggi Borneo yang dikekalkan.

Pada 1 Januari 1985, Mahkamah Persekutuan telah dinamakan semula sebagai Mahkamah Agung oleh Akta Perlembagaan (Pindaan) 1983. Selari  dengan pindaan tersebut, Artikel 131 yang membenarkan rayuan daripada Mahkamah Persekutuan untuk dirujuk ke ke Majlis Privy telah dimansuhkan. Pemansuhan Artikel 131 membawa maksud proses rayuan yang sedia ada telah diubah daripada satu peringkat kepada dua peringkat sahaja.

Pada tahun 1994, Mahakamah Agung bertukar semula kepada nama Mahkamah Persekutun melalui pindaan yang dibuat pada Perlembagaan Persekutuan pada 24 Jun 1994. Gelaran Lord President juga diubah menjadi Ketua Hakim Negara