A Sosei föld felé menet az út bal oldalán kis ösvény vezet be az erdőbe, a Toronyaljai Pálos kolostor romjához. Többek közt ennek a helynek a közelsége is döntő szerepet játszott abban, hogy itt építsük meg a Sosei meditációs központot.
A Szent Mihály nevére keresztelt kolostorról nem sok adat maradt fenn, az építtetőjét sem ismerjük, de feltételezések szerint a várnak és környékének (Toronyalja falu) birtokosa lehetett. A két létesítmény kapcsolatát erősíti, hogy az utóbbi építéséhez a torony köveit is felhasználták.
A pálos kolostor első írásos említése 1437-ből való, és ahogy a későbbi feljegyzések is, a kolostornak szánt adományok felsorolásából áll. A környék várai 1540 körül kerültek török kézre, valószínűleg legkésőbb a kolostor is ez idő tájt néptelenedett el, erre utal az is, hogy a törökök 16. század végi összeírásában Toronyalja már pusztaként szerepel. A kolostor egyszer még előkerül az iratokban, amikor 1686-87 környéken a pálosok régi, Buda környéki monostoraik, köztük a toronyaljai birtokában való megerősítésükért folyamodtak a császárhoz, sikertelenül.
Az 1980-as években végzett ásatások feltárták, hogy egy közepes méretű kolostor állhatott itt, amely a márianosztrai perjelséghez tartozott. A leletek szerint a keletelt templom építése a 14-15. század fordulójára tehető, támpilléres szentélyét később kibővítették. Az épülethez északról kapcsolódott a kb. 35×28 méteres, szabálytalan négyszög alakú kolostorszárny.
Egykor az udvaron lehetett az a közel 20 méter mély kút, amelyet a régészek feltárták: mára ez az egyetlen emlék maradt a kolostorból, más nem is látható a helyszínen. A kútból számtalan értékes lelet került elő, mint pl. fanyelű kés, sarló, szekéralkatrész, lakat, vasmacska, illetve egy ónkanna. Egy monda is kapcsolódik a kúthoz, miszerint a nosztrai és a toronyaljai kolostorokat titkos alagút kötötte össze, a törökök elől menekülő szerzetesek pedig ebbe, illetve a kút mélyére rejtették kincseiket.