Vznik města Hory Matky Boží (Bergstadtl unserer Lieben Frauen) souvisí s výskytem drahých kovů na Velharticku a s důlním podnikáním zde. S tím bylo také spojeno založení hornické osady, která se přílivem nejen německých, ale i českých horníků rychle rozrostla na městečko, poprvé doložené r. 1520. O rok později obdržel Zdeněk Lev z Rožmitálu pro městečko horní svobody. 12. listopadu 1522 vydal Ludvík Jagellonský listinu, jíž se městečko povyšuje na horní město. Listina byla adresována Zdeňkovi Lvovi z Rožmitálu jako vrchnosti a obsahuje souhrn běžných městských práv: právo obehnat město hradbami, městskou radu, právo popravní pro vrchnost, trhy (týdenní v sobotu a dva jarmarky – první v pondělí po svátku Nanebevzetí Panny Marie a druhý v první postní pondělí), městský znak, pečeť a červený vosk „i jiné při tom městě a v témž městě svobody jako jiná města v království Českém mají, též i práv městských aby užívati mohli a užívali jako jiná města i také práv horních a řádů tak, jako jsme prvý téhož Zdeňka a ty Hory Matky Boží v Velharticích obdařiti ráčili“. Je zde popsán i městský znak. Město se má jmenovat „Město na horách Matky Boží“. Druhá královská listina z 8. prosince 1522 je už adresována purkmistru, konšelům a vší obci města Hor Matky Boží: jedná se o znakovou listinu, jíž panovník uděluje městu kromě znaku, pečeť a právo používat červený pečetní vosk „tím vším způsobem a obyčejem, jako jiná města královská“ (obě listiny inzerovány v L 1).

28. srpna 1637 vydal nový král Ferdinand III. na žádost města Hory Matky Boží listinu (L 1), v níž vidimoval a potvrzoval městu jeho dosavadní privilegia.

Konjunktura těžby stříbra v této oblasti trvala do šedesátých let 16. stol., poté nastal postupný úpadek dolování a tím i nutně zastavení překotného rozvoje nového horního města. Ačkoli všechny pozdější pokusy o obnovu dolování skončily nezdarem (pouze v 2. pol. 18. stol. se drobná těžba částečně obnovila), status horního města Horám Matky Boží zůstal.

27. 12. 1785 potvrdil městečku Hory Matky Boží jeho privilegia Josef II. (L 2).