Замок строился как надежная крепость в устье судоходной реки у залива, с превосходными якорными стоянками. Какой-то мелкий вождь, чье имя затерялось в глубинах истории, увидел возможность контролировать отсюда торговлю на реке и построил первую крепость. По-видимому, он сделал это, чтобы защитить местные земли от набегов островитян, которые каждое лето разграбляли берега реки. Чего он не мог предвидеть, так это того, что предательство откроет захватчикам двери его укреплений. Башни и стены Оленьего замка стали опорным пунктом островитян, откуда они двинулись вверх по реке, подчиняя себе все новые и новые земли. Деревянный форт многократно перестраивался и в конце концов превратился в сердце Первого герцогства. Со временем он стал столицей королевства Шести Герцогств.