Ambitieux, sans doute trop, il fut perçu par ses concitoyens comme potentiellement dangereux pour la démocratie. A ce titre, il fut banni de la cité à la suite d’un vote : c’est la procédure de l’ostracime, par laquelle chaque citoyen participant à l’assemblée (certains oubliaient ou n’avaient pas la possibilité de s’y rendre) inscrivait le nom du compatriote qu’il voulait exclure sur un tesson de céramique. Des tessons portant le nom de Thémistocle sont aujourd’hui conservés au musée de l’Agora à Athènes. Thémistocle dut donc plier bagage (et emporter ses biens) en l’an -471 : il se réfugia chez son ennemi des guerres médiques, le roi de Perse.
Pour la petite histoire, le terme d’ostracisme a la même étymologie qu’ostréiculture : tous deux viennent de l’huître, car au tout tout début de la procédure d’ostracisme, c’était sur des coquilles d’huîtres qu’étaient indiqués les noms des punis.