Замок Килтси построен на развалинах вассального средневекового замка. Точную дату его основания не знают. Предполагают, что старейшая часть этого сооружения построена в конце 14 столетия, а в 16 — замок расширили. Тогда к нему были пристроены угловые круглые башни. Килтси является одним из немногих замков Эстонии, в котором можно увидеть фрагменты средневекового дома. Это единственное эстонское поместье, в котором хозяйственные постройки примыкают к дому господ. Так как через центр дома текут полноводные ручьи, впадающие в Пыльтсамаа, для защиты были созданы водные преграды.
На расстоянии 3-х км от замка расположена башня-замок Вао, которая построена в конце 14 столетия. Эти замки, по легенде, соединялись подземным ходом. Но его так и не удалось обнаружить. Поэтому это остается легендой. Замок не был предназначен для обороны, ведения войны. Но с ним связаны некоторые военные эпизоды. В 1558 году во время Ливонской войны Роберт фон Гилзен, хозяин замка, после жестокого сражения с русскими войсками укрылся в его стенах. Тогда русские не смогли захватить замок. В последующем штурме русские захватили его.
С тех пор замок пребывал в запустении. Имение Килтси было собственностью роду Гилзенов в период 1514-1581 годов. После этого имение было в собственности у разных хозяев. В 1778 г. Иоахим Фридрих фон Розен, его последний хозяин, продал поместье Герману Иоганну фон Бенкендорфу. Замок тогда был перестроен в господский дом. Его герб можно увидеть на фронтоне сооружения. Во время археологических раскопок в подвале были обнаружены женские и детские скелеты. Предполагают, что они прятались здесь в ливонскую войну, но, когда замок подожгли, они не могли выбраться оттуда.
Сегодняшние черты поместье приобрело в 1790 году. Майор умер в своём замке в 1800 г., о чем говорит мемориальная доска, находящаяся на доме. В 1816 г. имение приобрёл Адам Крузенштерн, известный мореплаватель, который совершил в 1803-1806 гг. кругосветное плавание. Последний жизненный период этого путешественника связан с поместьем Килтси. Здесь родились 2 его дочери: Юлия и Шарлота. Живя в Килтси, путешественник работал над важным проектом, то есть «Атласом Южного моря». Крузенштерн умер в 75 лет, был похоронен в Домской церкви города Таллинна.
Его имение передавалось по наследству. В 1911 году София фон Рюдигер, внучка мореплавателя, продала поместье. Графиня в этом поместье никогда не была, не имела представления о важных рукописях, хранившихся в доме. Так случилось, что архивы были потеряны безвозвратно. С 1922 г. и по сей день в имении находится приходская школа. На школьном флаге изображается основная часть Килтси. В 1993 г. учителями школы был основан фонд имени великого путешественника. В 1995 г., в 225 лет со дня рождения Адама Крузенштерна, адмирала, ученого, открыли мемориальную комнату.
В ней можно узнать о мореплавателе, о других владельцах этого имения. Здесь хранятся гравюры, которые были сделаны во время 1-го русского путешествия вокруг света, а также атласы, которые составили мореплаватели, судовой журнал с корабля «Надежда». С 2000 г. в замке проводятся реставрационные работы. Для ознакомления с поместьем можно заказать экскурсию. В Килтси постоянно проводят мероприятия, которые посвящены памяти известного мореплавателя.
