桑耶寺的建築規模宏大，佈局奇特，初入寺中，也許會被鱗次櫛比、殿塔林立的奇特佈局所迷惑，但如果你了解了各個建築所蘊含的意義和在整個寺廟佈局中所起的作用之後，一定會為這座輝煌的建築群所傾倒、折服。
桑耶寺的建築，據說是仿造古印度婆羅王朝在摩羯陀所建的歐丹達菩黎寺為藍本所建的，全寺的建築完全按照佛經中的大千世界佈局：中央為世界中心須彌山，由一座藏、漢、天竺三種風格的三層“烏尤大殿”代表，大殿南北又建太陽、月亮兩殿，象徵宇宙中的日、月雙輪，烏尤大殿四個角上分別建有紅、白、綠、黑四座佛塔，代表四大天王，大殿四周還均勻分佈著4大殿和8小殿，表示四方鹹海中的四大部洲和八小洲。寺廟建築群的外圍是一道圓形圍牆所環繞，象徵著世界外圍的鐵圍山。整個寺廟的建築佈局又和密宗的曼陀羅（壇城）有幾分相似。
欣賞整個寺廟精妙佈局的最好的地方在烏尤大殿的頂層。在頂層居高四望，東南西北四個方向分別是江北林、阿雅巴洛林、強巴林、桑傑林四大部洲，周圍可見八小洲、日月殿和白黑綠紅四塔星羅拱衛，精湛的構思，巧妙的佈局，將會讓你嘆為觀止。唯一美中不足的是，在大殿正門右前方新修了一座旅館，大小與四大部洲殿相仿，在整個建築佈局中和整體風格不太協調，顯得很突兀。不過這倒是方便了你我這樣的旅行者。另外，在這個代表大千世界的小宇宙般的建築群中，能有一座“屬於”旅行者的建築在我看來倒頗有點像徵意義，它大概象徵著旅行者和修行者最終的殊途同歸吧。
烏尤大殿是桑耶寺的主殿，位於全寺的中心地帶。大概坐西向東，高位三層，厎為藏式風格，中層為漢式，頂層為印度樣式，桑耶寺另一名稱“三樣寺”即是由此而來。
