Como todo o território caribenho, Saint Thomas também foi muito visitada por piratas, inclusive pelos famosos Barba Azul e Barba Negra. O nome do último serviu até para batizar um castelo construído pelos dinamarqueses em 1679 (Blackbeards Tower). Não se sabe, no entanto, em que momento a então Skytsborg Tower mudou de nome. Segundo a lenda, o pirata teria até usado a construção para observar seus alvos, no começo do século 18
