По сообщению «Хоу Ханьшу», поводом к основанию храма стал приснившийся императору сон о прибывшем с запада исполинском божестве, от которого исходил свет.[1] Решив по совету сановников, что речь идёт о Будде, император снарядил посольство в Индию, которое вернулось в Лоян со статуей Гаутамы и «Сутрой из 42 глав».[1]
По возвращении посольства император распорядился основать буддийский храм, первым настоятелем которого стал приехавший буддийский монах Кашьяпа Матанга.[1] Своё название он получил от белой лошади, на которой в Китай прибыли буддийские святыни.[2][3] Храм многократно перестраивался. Храмовые строения раскинулись на территории 13 гектаров в 12 км к востоку от современного города Лоян.[4]