Замок Кастельхольм упоминается впервые в летописях 1388 года как «Дом Кастельхольм». Точная дата его основания неизвестна. С конца XV столетия замок являлся административным центром всего архипелага, играл стратегическую роль, был охотничьим замком королевы Швеции. В нынешнем облике он представляет собой архитектурный комплекс, который строился и расширялся с конца XIV и до середины XVII века. В 1745 г. в замке произошел пожар.

Только в ХХ веке он был отреставрирован, открыт для посещения. Рядом с замком открыли 2 музея. Первый – Музей Государственной тюрьмы Вита-Бьерн, который находится в старом здании тюрьмы. Второй – Музей Яна Карлсгордена под открытым небом, в котором можно осмотреть больше 20 Аландских домов, мельниц XIX столетия. На старом постоялом дворе посетители могут угоститься национальными блюдами.