Legenda kaže da je 1269. godine vojvodu Gleba Vasilkoviča od Belozera na jezeru uhvatila oluja koja je njegov brod nasukala na ostrvo gde je zatekao malu zajednicu monaha. Upoznavši ih, shvatio je da žive u čvrstoj veri i predanoj molitvi, ali da nemaju sredstava da sagrade crkvu. Vojvoda je darivao novac za izgradnju prve crkve na ostrvu Kameni, građene u stilu brvnare. U to vreme, manastir je vodio Dionisus, grčki monah koji je uveo kanonska pravila svete planine Atos, zasnovana na najstrožem celibatu i veganskom načinu ishrane.

Drveni manastir je do temelja izgoreo dva veka kasnije, 1476. godine. Vladar Vologode, brat Ivana III Andrej Menšov tada naručuje kamenu crkvu na četiri stuba. Izgradnju su 1481. godine završili slavni majstori iz Rostova koji su kasnije gradili crkve u manastirima Ferapontov (1490) i Kirilo-Belozerski (1497).

Od XVI veka manastir se slabo razvijao. Ograničeni prostor je onemogućavao da se crkvrni kompleks širi, pa je manastirsko bratstvo počelo da se osipa. Najvećim delom manastir Spasa Kamenog je zapamćen kao mesto gde je sa svojim sledbenicima prognan Ivan Neronov iz reda starovernika. Jedan od njih je 1774. godine izazvao požar u kojem je izgoreo gotovo ceo kompleks manastira, a svih 26 monaha je nakon toga premešteno u Vologodu. Vratili su se na ostrvo 1801. godine, kada je crkva obnovljena i umesto građevine sa jednom kupolom sagrađena mnogo veća, sa pet kupola. Jedine zgrade koje su na ostrvu kao sasvim nove sagrađene nakon srednjeg veka su konak i dva svetionika, podignuti tokom 1870-tih.

Sovjetska vlada je 1925. godine odlučila da zatvori Kameni manastir i bratstvo je sa njega evakuisano. Kao i mnoge svetinje tog doba, pretvoren je u zatvor za sitne prestupnike. Kako se nije pokazao kao dobra vaspitno-popravna ustanova, zatvoren je 1937. godine.

U želji da sagrade „ustanovu kulture” van ostrva, sovjetske valsti su posle Drugog svetskog rata započele rušenje srednjevekovne svetinje da bi iskoristili građevinski materijal. Nažalost, ni ta ustanova nikada nije sagrađena, a na ostrvu su ostale samo ruševine crkve posvećene Preobraženju Gospodnjem.

Od 2015. godine grupa volontera iz Vologode i Moskve predano radi na rekonstrukciji nekadašnjeg manastira, na čijem su mestu zatekli samo ostatke crkvenog zvonika iz 1540. godine.