Osada Velhartice je v pramenech poprvé zmíněna r. 1318, tedy v době, kdy byl zřejmě postaven velhartický hrad. Malé sídlo za svůj vznik děkovalo právě přítomnosti hradu a stejnojmennému šlechtickému rodu. S jejich historií v nejstarší době souvisí správní vývoj města. Představitelem nejbohatší rodové větve, která se záhy ujala držení hradu, byl Bušek z Velhartic, který zřejmě skoupil podíly svých spoludržitelů, takže se později v držení vyskytují pouze jeho potomci. Bušek byl komorníkem krále Karla IV. Rodového majetku se nejprve ujali synové Bušek a Václav, kteří však zemřeli bezdětní a dědictví připadlo třetímu synu Janovi, který byl původně určen pro duchovní dráhu. Po Janově smrti se držitelem Velhartic stal Oldřich z Rožmberka. Po Oldřichově smrti se dědictví ujaly dvě Janovy dcery. Anna prodala polovici velhartického panství Jindřichovi z Rožmberka za doživotní roční rentu 170 kop a ten záhy prodal svou polovinu hradu majitelům druhé půli Janovi staršímu z Hradce a jeho choti Kateřině. Pánům z Hradce patřily Velhartice do roku 1453.

Poručník nezletilých potomků rodu Zdeněk ze Šternberka prodal Velhartice i Horažďovice Děpoltovi z Rýzmberka. Děpoltův syn Vilém se připomíná jako pán na Velharticích ještě roku 1487, ale již v roce 1506 byly v držení Zdeňka Lva z Rožmitálu, který pro ně na králi vymohl udělení dvou osmidenních výročních trhů na den po sv. Máří Magdaléně a ve čtvrtek po Všech svatých (L 1).

Páni z Rožmitálu prodali Velhartice r. 1541 Adamovi ze Šternberka. Na velhartické panství se však bez ohledu na předchozí prodej uvázali Jindřich Planský ze Žeberka, Anna ze Solhausu, Mikuláš Rendl z Úšavy a Václav Vintíř z Vlčkovic. Společná správa vyvolávala neshody, přestože se majitelé v dohledu střídali. Jediným řešením bylo nakonec dělení, k němuž došlo někdy před rokem 1560 a při němž získal Jindřich Planský ze Žeberka kromě hradu také městečko Velhartice. Dědici byli syn Šebestián Jáchym a vnuci Jan Jindřich a Jan Viktorin, kteří svoji část panství postupně dovedli k úpadku, na jehož konci byl nucený prodej Volfovi Gothardovi Perglarovi z Perglasu roku 1597. Volfův syn Václav Otakar byl evangelík a stranil po roce 1618 králi Fridrichovi, a proto bylo panství roku 1622 zastaveno donu Baltasarovi de Marradas a ustaveni královští komisaři, kteří o šest let později rozhodli, že zámek Velhartice, městečko pod ním a některé vsi budou prodány donu Martinovi de Hoeff-Huerta, císařskému válečnému radovi, za 55 tisíc zl. Huerta byl téhož roku po získání inkolátu povýšen na svobodného pána z Velhartic.

Don Martin postavil na svém novém sídle tzv. Huertovo křídlo, provedl rekatolizaci a Velhartickým potvrdil městská privilegia (L2). Huertovou dědičkou se stala adoptovaná Anna Marie „vejvodovna z Moldavy a Valach“ provdaná z Donína, která potvrdila privilegia svého adoptivního otce roku 1640 (L 3) a nechala je rovněž v roce 1652 potvrdit císařem Ferdinandem III. (L 4). Nedokázala však dosáhnout ekonomické rentability panství a nakonec je musela roku 1653 prodat karmelitánskému konventu na Menším Městě pražském za 19 224 zl.

Převor konventu P. Petrus a S. Alexio postoupil Velhartice již po několika měsících Johance Františce Račínové z Račína, jejímž druhým chotěm byl Arnošt Abund Krakovský z Kolovrat. Johanka Františka odkázala před svou smrtí majetek z poloviny svému choti a z poloviny svým dvěma dětem Anně a Jiříkovi Václavovi Račínovým. Její manžel však zemřel již před vyhlášením kšaftu a kolovratského podílu se ujali Anna Kolovratová ze Sulevic a Albrecht Krakovský z Kolovrat. Později skoupil všechny ostatní díly města Jiří Václav, který byl roku 1702 povýšen do stavu panského a celé Velhartice prodal roku 1710 Ludvíkovi Ignáci rytíři Bechyňovi z Lažan na Dlouhé Lhotě a Bystřici. Bechyňové z Lažan vlastnili Velhartice do roku 1729, kdy je koupil Josef Karel Perglar z Perglasu. Jako mnoho předchozích držitelů i Josef Karel nehospodařil právě nejšetrněji a nakonec mu bylo panství pro dluhy odňato a v roce 1743 prodáno za 39 954 zl. a 4 kr. Janu Ferdinandovi Desfours. V držení jeho rodu městečko zůstalo delší dobu – celých 70 let – a až v 19. století přešlo sňatkem Františky Romany Desfours a Karla Theodora svobodného pána Sturmfedera do držení rodu Sturmfeder Oppenweilern. Roku 1867 vymřela česká linie rodu. Posledními majiteli hradu – sídlo panství již tehdy bylo v Hrádku u Sušice – byli až do pozemkové reformy ve 20. letech příslušníci rodu Henneberg-Spiegel.

V r. 1783 a 1793 potvrdili městu Velhartice jeho privilegia Josef II. a František II. (L 5 a L 6).