Niemegk wird erstmals im Jahr 1161 als Burgward in den Urkunden erwähnt. Zunächst entstand ein Burgflecken, also ein Haufendorf mit Kirche, das sich später durch die Einbeziehung der Dörfer Altdorf und Parditz weiter vergrößert hat. Im Jahre 1228 wurde Niemegk das Stadtrecht verliehen, Ende des 13. Jahrhunderts erhielt die Stadt ein Stadtwappen.

Mitte des 13. Jahrhunderts war Niemegk Rittersitz der Herzöge von Sachsen. In dieser Zeit wurde die Stadt durch die planmäßige Anlage von Straßen in Richtung Süden erweitert: Eine zeitgenössische Karte zeigt südlich des Burgfleckens eine jüngere Siedlung von 640 mal 320m Größe, welche durch eine Befestigung gesichert wird. Die Mauer und die beiden Stadttore wurden Anfang des 17. Jahrhunderts eingeebnet, an ihrer Stelle sind Gärten angelegt worden.

Die Bebauung erfolgte zunächst in dichter Form um den Marktplatz herum. Die Bürgerhäuser der Stadt wurden lange Zeit fast ausschließlich in leichter Holzbauweise errichtet, 1816 gab es erst drei massive Häuser. Diese Bauweise begünstigte natürlich die Entstehung und Ausbreitung von Feuern, die in den Jahren 1395, 1547 und 1644 ganz Niemegk in Schutt und Asche legten. Die Brände wurden meist im Zuge kriegerischer Überfälle auf die Grenz- und Garnisonsstadt Niemegk gelegt.

Bis heute ist die St. Johannis Kirche eine städtebauliche Dominante in Niemegk. In den Urkunden taucht sie erstmals im Jahre 1186 auf. Die Kirche wurde nach mehreren schweren Bränden 1853 als neugotischer Backsteinbau nach den Entwürfen Stülers, einem Schüler Schinkels, von Grund auf neu errichtet. Der ursprünglich als Friedhof genutzte Kirchplatz wurde 1922 eingeebnet.

Das erste Rathaus der Stadt wurde Anfang des 14. Jahrhunderts vermutlich als ein einfacher Fachwerkbau errichtet. Nach seiner Zerstörung wurde es im Jahre 1570 als zweigeschossiger verputzter Rechteckbau neu erbaut. Dieses im Renaissance-Stil errichtete Rathaus bildet zusammen mit der St. Johannis-Kirche bis heute das Zentrum von Niemegk.

Die Bevölkerung Niemegks lebte zunächst aufgrund des fruchtbaren Bodens hauptsächlich vom Ackerbau. Daneben wurde eine Zeit lang auch Wein angebaut, später von knapp 50 Brauhäusern Bier gebraut. In Niemegk bestand darüber hinaus auch eine lange handwerkliche Tradition, typische Berufszweige waren beispielsweise Tuchmacherei und Leineweberei.

Vom allgemeinen wirtschaftlichen Aufschwung Ende des 19. Jahrhunderts konnte auch Niemegk profitieren. 1903 wurde die Stadt an das Eisenbahnnetz angeschlossen, 1904 wurde das Gaswerk eröffnet. 1928 folgte der Bau des Schwimmbades und von 1925 bis 1944 war die Stadt Luftkurort.

Am Ende des zweiten Weltkrieges wurden in Rückzugsgefechten um die Stadt zahlreiche Gebäude zerstört, auch die Kirche erlitt große Schäden. Nach 1945 arbeiteten viele Einwohner der Stadt in der Tonwarenfabrik, dem Sägewerk, der Ziegelei sowie der Maschinen- und Traktorenstation.

Seit der Wiedervereinigung beider deutschen Staaten im Jahre 1990 befindet sich die Wirtschaft von Niemegk in einem Umstrukturierungsprozess. 1992 wurde das Amt Niemegk gegründet, neben Niemegk gehören weitere 19 Gemeinden diesem Amt an. Seit dem Inkrafttreten der Kreisreform im Land Brandenburg gehört Niemegk dem neu gebildeten Landkreis Potsdam Mittelmark an.