En 1982, Rato fue elegido diputado por Cádiz, legislatura en la que fue secretario general del Grupo Parlamentario de la entonces Alianza Popular.

En el congreso de Barcelona, celebrado en 1984, fue nombrado junto con José María Aznar secretario general adjunto del partido. Rato asumió una nueva área diseñada para institucionalizar las relaciones del partido co los sectores sociales.

Dentro del partido estuvo al lado de los perdedores en el congreso que dio la presidencia a Antonio Hernández Mancha. Manuel Fraga lo repescó en el proceso de refundación del partido y lo nombró secretario general adjunto del nuevo Partido Popular.

En el Congreso de los Diputados ha sido el portavoz del Grupo Parlamentario Popular en las dos últimas legislaturas. Tras las elecciones del pasado mes de marzo, fue encargado personalmente por José María Aznar para llevar a cab las negociaciones con los partidos nacionalistas con el fin de llegar a un acuerdo para lograr la mayoría absoluta en la sesión de investidura, y lograr un acuerdo de gobernabilidad estable.