Na místě dnešního zámku původně stával hospodářský dvůr nazývaný Leptáč, který v roce 1569 věnoval Vilém z Rožmberka regentu rožmberského dominia a budovateli jihočeských rybníků Jakubu Krčínovi z Jelčan. Krčín zde postavil nový dvůr, kolem něhož zřídil rozsáhlou loveckou oboru. Takto půvabně položený dvůr se rožmberskému vladaři zalíbil natolik, že ho v roce 1579 směnil s Krčínem za městečko Sedlčany s deseti vesnicemi. Do současné podoby po vzoru italských vil nechal zámek vystavět Vilém z Rožmberka v letech 1583–1589, výstavbou pověřil vlašského stavitele Baldassara Maggiho z Arogna. Reliéfní výzdobu patra vily a zámecké kaple provedl v letech 1588–1589 italský štukatér Antonio Melana. Autorem malířských prací na zámku z roku 1589 je Georg Widman. Petr Vok z Rožmberka prodal zámek v roce 1601 císaři Rudolfu II. Dalšími majiteli zámku byli Eggenbergové a Schwarzenberkové.
