Il culto della Madonna dello Schiavo è direttamente collegato al più significativo avvenimento dei primi anni di vita della colonia tabarchina di Carloforte. Il simulacro della Vergine fu ritrovato in Tunisia in un giardino di Nabeul, dallo schiavo carolino Nicola Moretto, il 15 novembre 1800.
La comunità carolina in schiavitù si strinse attorno alla statua e, guidata dal parroco Don Nicolò Segni, mantenne viva la fede e la speranza nella liberazione. A ricordo dell’incursione barbaresca del 2 settembre 1798, gli schiavi rientrati dalla Tunisia nel 1803 celebrarono, per lungo tempo in quella data, la festa della Vergine dello schiavo. Fu Don Gabriele Pagani nel 1923 a fissare definitivamente la data di celebrazione al 15 novembre in memoria del ritrovamento del simulacro.
