So wie andere berühmte Berge, so hat auch dieser Berg seine Sagen und Erzählungen. Schaut man von der Bergruine nordwestlich ins Land, so liegen vor uns die Dörfer Höckendorf und Laußnitz. Noch vor diesen am Fuße des Keulenberges ein kleiner Berg, genannt ,,Vogelberg". In dessen Nähe hat früher ein Dorf Hainichen gestanden, welches durch einen Grafen in die östlich liegende Niederung verlegt worden ist. Seitdem heißt der Ort mit Namen.. Grafen-Hainichen - Gräfenhain.