Longe de Barcelona, e depois de sua experiência à frente da seleção holandesa, Van Gaal voltou ao Ajax, em 2003, desta vez como diretor técnico. Essa passagem não durou muito tempo e, dois anos mais tarde, ele voltou a comandar o AZ Alkmaar. Três campeonatos com bons resultados, incluindo o título da temporada 2008/2009, permitiu-lhe recuperar a reputação de um treinador vencedor. Com seu perfil de treinador rígido, Van Gaal chamou a atenção do Bayern de Munique em julho de 2009 e foi contratado pelo time alemão no lugar de Jupp Heynckes.
