Ein neuer Abschnitt in der Geschichte des Berges begann, als im Jahre 1862 Ferdinand Bürger aus Oberlichtenau ein einstöckiges Berghaus auf dem Berge errichtete. Daneben baute er sich den einfachen Tanzsaal, der bereits 1868 abbrannte. Eine Kegelbahn wurde auch erbaut. 1866 baute er sich am Fuße der mittleren Felskuppe einen Brunnen, der teils in den Felsen gesprengt wurde. Er konnte aber nie die ganze Wirtschaft mit Wasser versorgen. (Zur Zeit hat er 2,3 Meter Wasserstand und ist im gesamten 6,5 Meter tief.) Beim heutigen Vorhandensein der Wasserleitung wird dieser fast nicht mehr benutzt. 1869 führte Bürger einen großen Erweiterungsbau durch. Das Gasthaus erhielt ein zweites Stockwerk mit parkettiertem Tanzsaal. Ferdinand Bürger und auch sein Sohn Alwin Bürger hielten die Gastwirtschaft nur in den Sommermonaten offen. Im Winter gingen sie ihrem Schneidergewerbe in Oberlichtenau nach. Später, durch den immer mehr zunehmenden Wintersport, war die Gastwirtschaft, nach Wohnungsbau 1907, immer offen. Wegen seiner guten Aussicht auf die nähere und weitere Umgebung und dem Vorhandensein einer guten Gastwirtschaft gewann der Berg an Bedeutung. Besonders wurde er von Schulwanderungen aufgesucht. Vom Jahre 1886 an bis zu den Jahren 1927/28 kamen jeden Mittwoch Nachmittag die Schullehrer der Umgebung zum Austausch von Erfahrungen auf dem Berg zusammen. Man nannte es die "Keulenberg-Konferenz". Um eine weit bessere Aussicht zu ermöglichen, ließ der Bergwirt Bürger im Jahre 1890 auf der südöstlichen Felskuppe einen hölzernen Aussichtsturm erbauen. Auf dieser Kuppe stand bereits die Steinsäule des trigonometrischen Landesvermessungspunktes, die umbaut wurde. Vom Platz führt eine Freitreppe hinauf.