Cette rue ouverte en 1867, a reçu en 1869 le nom du général de Caulaincourt, duc de Vicence (1773-1827).
Elle a la particularité de franchir un angle du cimetière de Montmartre, sur un viaduc, qui permit de la prolonger de la rue Joseph-de-Maistre jusqu'au boulevard de Clichy. Ce viaduc fut inauguré le 16 décembre 1888.