Beliau mula terbabit secara sepenuh masa dalam politik dengan bertanding di kawasan Dewan Undangan Negeri Melaka Luar pada pilihan raya umum pertama 1955. Kawasan pilihan raya terakhir yang diwakilinya ialah kawasan Parlimen Batu Berendam di Melaka yang dimenanginya pada pilihan raya umum 1999. Beliau menjadi Ahli Dewan Undangan Negeri Melaka atau Ahli Parlimen Jasin selama 49 tahun berturut-turut, menerusi 11 pilihan raya umum sejak 1955 hingga 1999.

Beliau merupakan antara kepimpinan UMNO yang telah berkhidmat di bawah 3 Perdana Menteri iaitu Tunku Abdul Rahman, Tun Abdul Razak dan Tun Dr. Mahathir. Beliau keluar kabinet selama 10 tahun apabila Tun Hussein Onn menjadi Perdana Menteri. Apabila Tun Dr. Mahathir dilantik Perdana Menteri beliau masih berada di luar kerajaan dan hanya masuk kembali pada tahun 1986 apabila Tun Musa Hitam meletakkan jawatan Timbalan Perdana Menteri.

Ketua Menteri Melaka

Seawal 1959 Tun Ghafar menolak tawaran jawatan Ketua Menteri Melaka sehingga memaksa Perdana Menteri Malaysia ketika itu Tunku Abdul Rahman Putra Alhaj mengancam untuk membiarkan negeri itu tanpa Ketua Menteri. Ghafar akhirnya akur dengan kehendak Tunku dan memegang jawatan itu selama lapan (1959-1967) tahun.

MARA

Ghafar Baba pernah menjadi pengerusi MARA yang pertama dari 1 September 1967 hingga 31 Oktober 1971 bagi meninggikan martabat ekonomi orang Melayu. Beliau juga merupakan pengasas Kolej MARA (1972),Institut Kemahiran Mara, Yayasan Pelajaran Mara dan ITM yang kini dikenali sebagai Universiti Teknologi MARA (UiTM). Beliau juga pernah menjadi Pengerusi Lembaga Pengarah Utusan Melayu (M) Bhd dan Kompleks Kewangan selama 10 tahun bermula 1September 1976 hingga 1986 apabila dilantik Timbalan Perdana Menteri.

Masalah Kepimpinan MCA

Ghafar merupakan satu-satunya pemimpin UMNO yang diberi kepercayaan menerajui MCA sebagai pemangku Presiden MCA selama 10 bulan ketika parti berasaskan kaum Cina itu dilanda krisis akibat perebutan kuasa antara presidennya ketika itu, Tan Koon Swan dan bekas presiden Tan Sri Dr Neo Yee Pan.

Menolak Jawatan Menteri

Pada 1974 Tun Ghafar meninggalkan kabinet pimpinan Perdana Menteri Tun Hussein Onn . Pada 1981 menolak jawatan Menteri Pelajaran yang ditawarkan oleh Tun Dr Mahathir Mohamad.

Antara jawatan yang disandangnya ialah Menteri Pembangunan Negara dan Luar Bandar, Menteri Pertanian dan Pembangunan Luar Bandar dan Menteri Perumahan dan Kerajaan Tempatan. Pada 1989 Tun Ghafar memangku jawatan Perdana Menteri semasa Dr. Mahathir menjalani pembedahan jantung.

Timbalan Perdana Menteri

Dalam pemilihan Perhimpunan Agung UMNO 1987, beliau berjaya mengalahkan Musa Hitam bagi jawatan Timbalan Presiden UMNO dengan majoriti tipis, 40 undi.

Encik Ghafar Baba dilantik oleh Dr Mahathir Mohamad menjadi Timbalan Perdana Menteri Malaysia selepas Musa Hitam meletakkan jawatan sebagai Timbalan Perdana Menteri Malaysia pada 1987.

Pada 1993 Tun Ghafar berundur daripada jawatan Timbalan Presiden UMNO dan Timbalan Perdana Menteri apabila kedudukannya sebagai Timbalan Presiden UMNO dicabar oleh Datuk Seri Anwar Ibrahim. Tujuannya bagi mengelak perpecahan dalam parti dan mempertahankan kestabilan negara. Surat perletakan jawatan ditulis pada kertas Penerbangan Malaysia di bilik VIP Lapangan Terbang Antarabangsa Subang untuk berlepas ke Korea Selatan bagi tugas rasmi.

Jawatan

§ JawatanSetiausaha Kesatuan guru - guru 1949 - 1951,

§ Setiausaha UMNO Melaka 1951 - 1955

§ Pengerusi UMNO Melaka 1955 - 1973

§ Ketua Menteri Melaka 1959 - 1967

§ Ahli Majlis Tertinggi UMNO 1957 - 1993

§ Ketua Penerangan UMNO 1958 - 1962

§ Naib Presiden UMNO 1962 - 1987

§ Presiden de facto MCA pada tahun 1985 (MCA mengalami krisis kepimpinan pada 1985 dan 1986)

§ Timbalan Presiden UMNO dan Timbalan Perdana Menteri 1986 - 1993

Beliau merupakan seorang yang rendah diri, tabah dan sentiasa berjuang demi nasib bangsa Melayu.

Lain-lain

Beliau pernah menjadi Pengerusi PGA dan 'Lawn Tennis Association' mulai Disember 1984, Presiden 'Asian Tennis Circuit Council', Pengerusi Perbadanan Perpustakaan Melaka, Pengerusi 'Merdeka Scholarship Fun Committee' dan Bekas Presiden Bulan Sabit Merah Melaka.

Penghargaan

Tun Ghafar Baba enggan menerima sebarang gelaran datuk atau pingat daripada mana-mana sultan . Tambahan pula Melaka tidak mempunyai sultan atau raja kecuali Yang diPertua Negeri Melaka. Sehingga akhir hayatnya beliau dipanggil Encik Ghafar sahaja.

Pingat darjah kebesaran yang pernah diterima oleh Tun Abdul Ghafar adalah anugerah kehormat Doktor Undang-Undang oleh Universiti Sains Malaysia pada 27 Julai 1985, anugerah 'Bapa Perpaduan' oleh Pemuda UMNO Kota Melaka pada tahun 1987, 'Malaysian Institute of Management Honorary Fellowship Award' pada tahun 1988, anugerah 'Bapa Yang Disayangi' oleh Persatuan Telegu Malaysia pada tahun 1990, pingat kebesaran S.S.M. yang membawa gelaran 'Tun' pada tahun 1995 dan anugerah 'Tun Abdul Razak Foundation National Award' pada 19 Mac 1998.

§ Sekolah Menengah Kebangsaan Ghafar Baba di Masjid Tanah, Melaka juga dinamakan sempena nama beliau. Nama asal sekolah ini ialah Sekolah Menengah Kebangsaan Masjid Tanah. Encik Abdul Ghafar bin Baba selaku Ketua Menteri Melaka telah meletakkan batu asas pada 24 September 1962.

§ MRSM Jasin ditukar nama kepada MRSM Tun Ghafar Baba pada 27 Julai 2006 selepas beliau meninggal dunia bagi mengenang jasa beliau. Majlis penjenamaan semula itu dilakukan oleh Menteri Pembangunan Usahawan & Koperasi, Y.B Dato' Seri Mohamed Khaled Nordin.

§ Muzium Tun Abdul Ghafar merupakan rumah asal beliau di Jasin, Melaka.

§ Enam Felda di Melaka dinamakan semula sempena nama Tun Abdul ghafar iaitu Felda Tun Ghafar Machap, Felda Tun Ghafar Hutan Percha, Felda Tun Ghafar Menggong, Felda Tun Ghafar Kemendor, Felda Tun Ghafar Air Kangkong dan Felda Tun Ghafar Bukit Senggeh. Timbalan Perdana Menteri Malaysia ketika itu, Datuk Seri Najib Tun Razak mengumumkan perkara itu pada 7 April 2007.

Meninggal Dunia

Pada 23 April 2006. Beliau meninggal dunia di Pusat Perubatan Gleneagles Intan, Jalan Ampang, Kuala Lumpur pada pukul 7:35 pagi kerana komplikasi jantung, paru-paru dan buah pinggang. Beliau berusia 81 tahun ketika menghembuskan nafas terakhirnya. Jenazah beliau dikebumikan di Makam Pahlawan, Masjid Negara, Kuala Lumpur. Turut hadir ialah Perdana Menteri, Datuk Seri Abdullah Ahmad Badawi dan bekas isterinya Dayang Heryati binti Abdul Rahim.Sembahyang jenazah diketuai oleh Imam Besar Masjid Negara, Datuk Kamaruddin Zakaria dan pengkebumian diketuai oleh Timbalan Mufti Wilayah Persekutuan, Wan Halim Wan Harun. Tun Abdul Ghafar merupakan negarawan ke-4 disemadikan di bawah kubah Makam Pahlawan selepas Tun Dr Ismail Abdul Rahman, Tun Abdul Razak dan Tun Hussein Onn .