Im Grenz­gebiet der Terri­torien der Grafen von Ravens­berg und der Edel­herren zur Lippe versuch­ten beide Seiten ihre Terri­to­rial­ansprüche vor allem durch Hagen­dorf­grün­dungen (das sind militä­risch leicht befes­tigte Dörfer) durch­zu­setzen. Es entstan­den die beiden Sied­lungen mit den heuti­gen Namen Gräfing­hagen und Lämers­hagen (Löwen­berg-Hagen).

Der streit­bare Edel­herr Bern­hard II. zur Lippe fühlte sich zudem stark genug, seine Ansprüche gegen die Grafen mit einer Burg sichern zu können und begann 1177 mit ihrem Bau. Vermut­lich wurde die Burg, soweit ihre Ent­ste­hung fort­ge­schritten war, ein Jahr nach ihrem Baube­ginn schon wieder zerstört, während des Kriegs­zuges Kaiser Frie­drich I., Barba­rossa, gegen die Freunde Hein­richs des Löwen, zu denen die Lipper gehör­ten. In der Folge­zeit setzten sich dann die Ravens­berger end­gül­tig in dem Gebiet durch. Den Bau einer Burg an dieser Stelle hiel­ten sie offenbar nicht für erfor­derlich.