Il fut fondé en 823 par le célèbre prêtre Kōbō Daishi (弘法大師, également connu sous le nom de Kûkai à la demande de l'empereur Saga.

Kûkai consacra ce temple pour la protection spirituelle du pays, et en fit le temple siège du Shingon. Là, pour la première fois, une cinquantaine de moines étudiaient exclusivement la doctrine ésotérique. En peu de temps, d'autres bâtiments s'édifièrent et la construction d'une grande pagode à cinq étages (Gojû-no-tô) s'amorça. Sous sa direction, des artistes sculptèrent des statues pour exprimer les vérités essentielles de l'ésotérisme. Parmi les vingt et un chefs-d'œuvre qu'on peut admirer aujourd'hui, tous trésors nationaux, quatorze datent de cette période.

Le temple est fameux pour sa pagode (goju no tō) qui mesure 61 mètres de haut, ce qui en fait la plus grande tour en bois du Japon. Sa reconstruction, qui fut commandée par le shogun Tokugawa Iemitsu, date donc de l'ère Edo.

La salle principale (Kon-dō) a été érigée 796 et détruite lors d'un incendie en 1486. C'est Hideyori Toyotomi qui en décide la reconstruction en 1603. Cette salle abrite les statues du bouddha de la guérison, Yakushi Nyorai, et de ses serviteurs, Nikkō et Gakkō Bosatsu.

Le Tôji reste aujourd'hui un des plus grands temples du Shingon où, au début de chaque année, les principaux grands maîtres du Shingon se retrouvent, et durant une semaine pratiquent des rituels pour la protection de l'empereur, du pays et de tous les êtres.