On ignore la date de construction initiale du château de Kelburn, mais on estime qu'elle remonte aux alentours de 1143, la première structure étant une tour en bois. Cette tour fut remplacée au XIIIe siècle par un donjon normand en pierre, dont certaines parties sont encore utilisées aujourd'hui.
