圖書館現有館舍，原為鄉公所舊址於民國67年破土興建：地下一層地面三層聯合辦公廳舍乙棟，總工程費500萬元，並於民國74年11月間啟用。鄉公所於91年4月遷至玉泉，舊館舍則為圖書館使用。在92年獲文建會補助翻修，內部空間改善後，92年12月至93年3月27日改善空間閉館，93年3月28日開館，使得陳舊館設煥然一新，並充分更新設備，讓鄉民享受閱讀樂趣，是一老少咸宜去處。
       公館圖書館舊館因屬海砂危樓已於102年2月9日封館不再使用，自102年4月1日起暫借公館鄉立老人文康中心1樓（公館鄉玉谷村4鄰玉谷124號）重新開館。
　   圖書館因經費問題遲遲未能興建完成，在鄉長曾美露女士上任之後，奔走四方，向各界募款，終籌至足夠資金。於民國104年6月27日鳩工動土，翌年8月22日竣事。爰興建地下一層、地上三層與屋突一層，總樓地板面積2,001平方公尺，於106年8月落成啟用，提供鄉親良好閱讀環境，營造終身學習的書香社會，至祈鄉親多加利用。