柴府，始建于宋神宗元丰年间，为后周世宗柴荣之5世孙柴荣皇城私宅，后毁于兵燹匪患。明弘治十四年（1501），驿丞张廷威重建，为高唐的驿馆，称“鱼邱驿馆”。后嘉庆五年（1800）、道光十五年（1835）重修。清代康熙、乾隆皇帝下江南时驻跸于此。
　　今之柴府是1999年在原址重建的，四面湖水环抱，花园式建筑，前门、中厅、后寝、回廊均为宋代建筑风格。整个建筑面积为938.48平方米，分为东西两院，西辟花园，东为柴府。柴府为二进院，步入津池即为主厅，主厅面阔5间，歇山式，灰瓦顶，吻兽相配，宋式彩绘相宜，飞檐排角。院东西建有回廊、亭、轩、水池。后院为后寝殿，面阔5间，歇山式，东西厢房各3间。西为单体院落，有角门与东院相通。步入朱红大门，迎面为仿古戏楼，面阔3间，宋代歇山式建筑，两侧耳室各1间。