Stopy rýžování zlata v blízkosti řeky Otavy prozrazují již raně středověké osídlení okolí pozdějšího hradu i obce Rabí. Písemné zprávy z doby před rokem 1380 však bohužel nemáme, je však pravděpodobné, že před začátkem 14. stol. hrad ani osada pod ním neexistovaly a vznikly kolem roku 1300. První písemná zmínka o hradu Rabí pochází nejspíše z r. 1380, kdy se „seděním na Rabí“ psal Půta z Rýzmberka († 1399). Rodu Švihovských z Rýzmberka patřil hrad a panství Rabí až do pol. 16. stol.

Samotný vznik města Rabí již lze sledovat podrobněji. Podle některých autorů je městečko Rabí, „které mělo vlastní farní kostel a svými hradbami bylo napojeno na hradní opevnění“, zmíněno už roku 1373. Půta Švihovský z Rýzmberka († 1504) se na přelomu 15. a 16. století rozhodl vystavět pod hradem Rabí město. Nechal obehnat hradbami staré podhradí, nazývané Hradčany a na pozemcích severně od Hradčan, které k tomuto účelu městu daroval, vystavěl nové domy jako druhou část města Rabí. Na Půtovu žádost povolil mu král Vladislav Jagellonský listinou z 10. srpna 1499 nejen město postavit, ale udělil Rabí také městská práva: město smělo být obehnáno hradbami, dostalo právo soudní, právo vařit a šenkovat pivo, směli se v něm usazovat řemeslníci a kupci a v Rabí se také mohly provozovat trhy – jeden týdenní každou středu a dva výroční osmidenní o svátku Nejsvětější Trojice a na den sv. Martina. Tato privilegia stvrdil panovník ještě druhou listinou z 26. srpna 1499. Z téhož roku je i listina samotného zakladatele města Půty Švihovského, datovaná 24. září. Město Rabí dostává stejná privilegia jako město Horažďovice (které je obdrželo o dva roky dříve; Horažďovice se řídily právy Starého Města pražského), zejména co se týče práva odkazovat majetek, a Půta městu dále prodává do zákupu 11 lánů. Německé inzerty všech tří listin jsou obsaženy v L 3. Na žádost rábských měšťanů udělil král Vladislav 9. září 1513 Rabí městský znak a právo pečetit červeným voskem (německý inzert listiny v L 3).

R. 1549 prodali Švihovští panství Rabí, které koupil Jindřich Kurcpach z Trachenburka a z Miliče. Už roku 1557 koupil Rabí Diviš Malovec z Libějovic, ale za dva roky je prodal Vilémovi z Rožmberka. Vilém z Rožmberka ovšem s Rabím dlouhodobě nepočítal a 14. ledna 1570 nechal vložit do Zemských desk Adamu Chanovskému z Dlouhé Vsi krom jiného „zámek Rábí s jedním i druhým městy Rábskými“. Rodu Chanovských patřilo Rabí až do r. 1708.

Kryštof Chanovský z Dlouhé Vsi vydává 2. dubna 1627 listinu, v níž daruje „chudé obci města Rabí“ panský dvůr Mýto s pozemky a lesem, dále jim zajišťuje svobodný přístup k těmto pozemkům s právem volně chodit přes řeku, povoluje pořádat trhy a vyrábět i prodávat slad (L 1).

Poslední držitel panství z rodu Chanovských, Jan Vilém, je prodal r. 1708 kardinálovi a pasovskému biskupovi hraběti Janu Filipovi z Lamberka, který připojil toto panství k statku žichovickému (které získal rok předtím). Rod Lamberků zůstal majitelem žichovického velkostatku až do r. 1945.

Postupně nejspíše v souvislosti se stále větším hospodářským tlakem vrchnosti, která z pohledu rábských měšťanů nerespektovala jejich stará privilegia, si město nechalo několikrát (v l. 1761, 1784, 1794) potvrdit svá privilegia přímo panovníkem (L 3–L 5). 11. 3. 1749 povolila Marie Terezie městu Rabí třetí výroční trh na den sv. Bartoloměje, což pro město, zchudlé zvýšenými válečnými kontribucemi v souvislosti s válkami, které panovnice vedla na počátku své vlády, znamenalo ulehčení v jeho těžkém finančním postavení (L 2). Podobné tržní privilegium dostali Rabští ještě 19. 8. 1796 (L 6).