Η Ανάφη λειτούργησε ως τόπος εξορίας από το 1924 έως το 1943 και από το 1946 έως το 1949. Συγκεκριμένα, άρχισε να χρησιμοποιείται από το 1925 ως τόπος εξορίας μελών και στελεχών του ΚΚΕ, εργατών, αγροτών, νεολαίων και άλλων αγωνιστών.

Ηταν μια περίοδος που εντάθηκε η καταστολή του αστικού κράτους ενάντια στο ΚΚΕ και στο εργατικό – λαϊκό κίνημα, με τη δικτατορία Πάγκαλου. Ο αριθμός των εξόριστων πολλαπλασιάστηκε μετά το «Ιδιώνυμο» της κυβέρνησης Βενιζέλου, το 1929, που ποινικοποίησε την κομμουνιστική ιδεολογία και δράση. Στην αρχική δε περίοδο της δικτατορίας Μεταξά, στα χρόνια 1936 – 1938, οι εξόριστοι στην Ανάφη έφτασαν τους 750.

Το 1941, 220 εξόριστοι παραδόθηκαν από τις ελληνικές κρατικές αρχές στις φασιστικές δυνάμεις κατοχής. Ακολούθησαν 8 μήνες απερίγραπτης πείνας και τιτάνιας προσπάθειας των εξόριστων να την αντέξουν. Πολλοί μεταφέρθηκαν σε άλλα κάτεργα και τελικά οδηγήθηκαν σε τόπους εκτέλεσης, στο Κούρνοβο, στο στρατόπεδο «Παύλου Μελά», στην Καισαριανή, με μαρτυρίες να αναφέρουν ότι από τους 200 εκτελεσθέντες κομμουνιστές την 1η Μάη 1944 οι 70 είχαν περάσει από την Ανάφη.

Το 1947, έναν χρόνο μετά την επαναλειτουργία του νησιού ως τόπου εξορίας, στην Ανάφη κρατούνταν 262 εξόριστοι, ανάμεσά τους 30 γυναίκες και 2 παιδιά. Στο νησί εξορίστηκαν σειρά στελεχών του ΚΚΕ: Ηλέκτρα Αποστόλου, Δημήτρης Γληνός, Βασίλης Μπαρτζιώτας, Αδάμ Μουζενίδης, Γιώργης Σιάντος, Κώστας Θέος, Κώστας Βαρουξής κ.ά.

Η εξορία σε ένα τόσο άγονο και απομονωμένο μέρος, που δεν μπορούσε να θρέψει ούτε τους κατοίκους του (περίπου 500 τον αριθμό), ήταν βασανιστήριο, με τους εξόριστους αντιμέτωπους με τον μόνιμο υποσιτισμό. Παράλληλα, ήταν συνεχής και με όλους τους τρόπους η προσπάθεια του αστικού κράτους να κάμψει το ηθικό τους, να αποσπάσει δήλωση μετάνοιας.

Πηγή αντοχής υπήρξαν η πίστη στα ιδανικά του ΚΚΕ και η στήριξη των οργανώσεων αλληλεγγύης. Οι εξόριστοι, εμπνεόμενοι από ανώτερα ιδανικά, μετέτρεψαν τον άγονο βράχο σε τόπο μόρφωσης, πολιτισμού και συντροφικής ζωής, άλλο ένα «άπαρτο κάστρο».