Boller er kendt som det ufrivillige hjem for Christian 4.s forstødte hustru Kirsten Munk. Stedets historie begynder i den sene middelalders urolige år, fortsætter gennem renæssancens byggeri ved Holger Rosenkrantz og Karen Gyldenstierne, Frijsernes epoke