Di bawah Perjanjian Persekutuan Tanah Melayu 1948, Mahkamah Agung yang terdiri daripada Mahkamah Tinggi dan Mahkamah Rayuan telah ditubuhkan. Mahkamah Agung kemudiannya telah digantikan dengan Mahkamah Persekutuan dan Mahkamah Tinggi pada tahun 1963.

Pada 24 Jun 1994, Mahkamah Rayuan telah ditubuhkan di bawah Akta Mahkamah Rayuan 1994. Penubuhan tersebut telah mengembalikan proses rayuan secara 2 peringkat dalam institusi perundangan negara. Pada awalnya, Mahkamah Rayuan terdiri daripada Presiden Mahkamah Rayuan, yang merupakan pengerusi Mahkamah Rayuan dan juga 10 orang Hakim Mahkamah Rayuan. Presiden Mahkamah Rayuan juga merupakan ahli Mahkamah Persekutuan.

Mengikut peruntukan Perkara 122A Perlembagaan Persekutuan, bilangan maksimum terkini bagi Hakim Mahkamah Rayuan adalah 32 orang.