Accesul pe insulă este interzis turiştilor, însă, oricum, nimeni nu îndrăzneşte să o viziteze din cauza poveştilor despre fantome. Se spune că Poveglia este locuită de spirite care sperie fiecare persoană care pune piciorul pe insulă.

Insula a început să fie locuită începând cu secolul V. Cei care îşi duceau zilele acolo erau oameni fugiţi din calea invaziei barbare. În 1379, Genova a atacat Veneţia, iar oamenii care se aflau pe Poleglia au fost mutaţi pe Giudecca, iar pe insula fost construita o fortificaţie numita “Octogon”, ale carei ruine sunt vizibile şi astăzi. După ce invazia de ciumă s-a făcut simţită în 1576, insula s-a transformat într-un spaţiu în care erau izolaţi cei atinşi de boala.

Tot aici erau aduse si corpurile neinsufletite ale venetienilor, pentru a fi depozitate în gropi comune sau pentru a fi arse. Se spune ca în acele vremuri sumbre au fost aduse pe Poveglia nu mai puţin de 160,000 de trupuri, a caror cenuşă acoperă şi astăzi insula.

Din acea perioadă au început să circule şi poveştile. Locuitorii din zonă mărturisind că văd şi aud lucruri ciudate dinspre insulă.

Între 1922 şi 1968, pe Poveglia a funcţionat un spital de boli psihice, condus de un doctor care n-ar fi fost nici el în deplinatatea facultăţilor mintale. Acesta şi-ar fi torturat pacienţii sub umbrela unor experimente ştiinţifice, până la moartea lui survenită în conditii ieşite din comun.

Medicul, care era bântuit de fantomele pacienţilor, s-ar fi aruncat într-o zi din clopotniţa ridicată pe insulă. Se mai spune că trupul lui ar fi fost zidit chiar de către pacienţi în pereţii clopotniţei, de unde şi astăzi, în anumite nopti, se mai aud sunete bizare.