Kohl assumiu a presidência do Partido Democrata-Cristão em 1973. Três anos depois, liderou no Parlamento a oposição ao chanceler Helmut Schmidt, do Partido Social-Democrata. Em 1982 elegeu-se chanceler, cargo que na Alemanha equivale ao de chefe de governo.
Entre 1985 e 1986 enfrentou acusações de envolvimento em casos de corrupção, mas foi inocentado por falta de provas. Assim que a União Soviética deixou de controlar a Europa Oriental, entre 1989 e 1990, Kohl passou a incentivar a reunificação da Alemanha Ocidental e da Oriental. Em maio de 1990, as duas Alemanhas unificam seus sistemas de assistência social; em 3 de outubro, a Alemanha Oriental deixa de existir, fato simbolizado pela queda do Muro de Berlim. Na primeira eleição unificada desde 1932, a coalizão que apoiou Kohl conquistou a maioria no Parlamento. Em abril de 1997, ele anunciou a intenção de concorrer ao quinto mandato consecutivo, mas foi derrotado em 1998.