Construit (pour le bâtiment d'origine) par les évêques de Salzbourg vers le Xe siècle, le château devint propriété des seigneurs de Ptuj (Pettau en allemand) de 1132 à 1438. Profondément transformé au XVIIIe siècle le château possède de belles arcades sur trois niveaux qui lui donne un petit air toscan. Le portail de l'entrée est surmontée des armoiries des Leslie, famille d'origine écossaise qui possédèrent le château de 1656 à 1802.
Le château abrite un musée d'instruments de musique, une belle collection de tapisseries flamandes ainsi qu'une gallerie de portraits originaux: des monarques européens peints sous l'apparence de leurs homologues turcs. Le château de Ptuj abrite aussi un musée ethnographique et une belle collection d'horloges.