Hrad byl založen na přelomu 13. a 14. století pány z Budětic. Největšího rozkvětu hrad získal ale až s Buškem starším a Buškem mladším z Velhartic, kteří byli komorníci císaře a krále Karla IV. O Buškovi z Velhartic se také ve své básni Romance o Karlu IV.  zmiňuje Jan Neruda.

O důležitosti velhartického hradu svědčí i to, že zde byly v 15. století tajně uloženy korunovační klenoty Království českého. V 17.století byl postaven na horním nádvoří nový, pozdně renesanční palác. 

Zajímavostí je velký kamenný most, který spojuje jádro hradu s donjonem. V hradních areálech střední Evropy nemá obdoby. Je dlouhý 32 m, 3 m široký a vysoký téměř 10 m, se čtyřmi lomenými oblouky na masivních válcovitých pilířích. 

Otevřeno je od dubna do října a navštívit můžete hned několik okruhů. Pokud už budete unaveni,můžete si zajít odpočinout do restaurace U hradního sládka nacházející se v budově hradního pivovaru na dolním nádvoří.

Velharticko uchvátilo i Jana Wericha, který si zde nechal podle návrhu výtvarníka Jiřího Trnky postavit chatu. K Werichově chatě vede od náměstí, městskou památkovou zónou a okrajem přírodní rezervace Borek, naučná stezka s krásnými výhledy na středověký hrad.

Zapomenout nesmíme ani na kostel svaté Máří Magdalény, který se nachází nedaleko Velhartic. Stavba kostela začala ve 14.století. V 16.století byl přestavěn v pozdně gotickém slohu a v 19. století došlo ke značným úpravám. Nejzajímavější na tomto kostelu je ovšem pověst, která o tomto místu koluje. 

Tato událost měla být inspirací K. J. Erbenovi k napsání balady Svatební košile. Pověst zní takto. Byli, žili chlapec a dívka, kteří se do sebe zamilovali. Chlapec byl za nějaký čas poslán do války, kde padl. DÍvka z toho byla nešťastná a chodilaplakat na jeho hrob do Velhartic. Do této dívky se zamiloval jiný muž, který byl ale stále odmítán, protože dívka nedokázala na svého milého zapomenout. Po dalším odmítnutí se muž rozohnil a spojil se s černou magií. Pomocí obřadu probudil padlého, který měl milou unést a ona z toho měla zešílet a zemřít. Na poslední chvíli, před smrtí dívky, ovšem zasáhla vyšší moc a dívka byla zachráněna. 

Další zvláštností jsou tmavé skvrny na zděném štítu kostela, které při pozornějším pohledu nápadně připomínají dívčí tvář. Skvrny prý na chvíli zmizí, když štít dostane novou omítku či nátěr, ale pak se znovu objeví. Někteří místní věří, že tvář patří dívce unesené sem oživlým umrlcem.