Din cauza invaziei turcilor în Sicilia, acesta a plecat împreună cu familia sa în Peloponez, în sudul Greciei, şi apoi în Tesalonic.

A intrat în monahism în Mănăstirea Latomas, fiind hirotonit apoi preot. A călătorit cu Sfântul Grigorie Decapolitul la Constantinopol rămânând la Mănăstirea Sfinților Serghie şi Vah.

În perioada iconoclastă, în timpul împăratului Leon Armeanul (813-820) Sfântul Iosif a fost trimis la Roma de Sfântul Grigorie Decapolitul, dar pe drum a fost prins de către soldaţi, fiind întemniţat în insula Creta.

După restabilirea cultului icoanelor, Sfântul Iosif a fost eliberat din închisoare şi a plecat la Constantinopol, unde a primit în dar o parte din moaştele Sfântului Apostol Bartolomeu şi a zidit, în Tesalia, o biserică în cinstea acestuia.

Sfântul Iosif s-a rugat lui Dumnezeu să-i ofere darul de a alcătui cântări religioase. După un timp, a văzut un om cu chip de apostol, care a i-a pus Evanghelia pe piept şi l-a binecuvântat. De atunci a alcătuit numeroase cântări şi canoane religioase aflate în uzul Bisericii Ortodoxe.

Fiind un apărător al Sfintelor Icoane a fost exilat în Chersonez, localitate în partea de Sud-Vest a peninsulei Crimeea, de unde s-a întors abia după moartea împăratului Teofil.

În timpul Patriarhului Ignatie (+ 877) a fost numit schevofilax – eclesiarh însărcinat cu păstrarea obiectelor de cult – al Patriarhiei Constantinopolului, ascultare pe care a îndeplinit-o până în anul 833, când, pe 4 aprilie, a trecut la cele veşnice.