Almunia ingresó en el PSOE y en la UGT en 1974. De 1976 a 1979 fue asesor de la Comisión Ejecutiva Federal de UGT e ingresó por primera vez en el Comité Federal del PSOE desde 1978 a mayo de 1979.

El 29 de septiembre de 1979, en el transcurso del Congreso extraordinario en el que el PSOE abandonó el marxismo, fue elegido miembro de la Ejecutiva Fderal como secretario de Política Sindical.

En octubre de 1981, en el XXIX Congreso del PSOE, fue elegido secretario de Estudios y Programas y en 1982 forma parte del primer Gobierno de Felipe González como ministro de Trabajo y Seguridad Social (1982-86), y ministro para las Administraciones Públicas entre 1986 y 1991.

Tras la dimisión de Carlos Solchaga como portavoz del Grupo Socialista, en la primavera de 1994, Almunia se hace cargo del puesto y en el XXXIII Congreso del partido, en octubre d 1994, accede a la Secretaría de Estudios y Programas de la Ejecutiva Federal.