Tento významný objekt byl postaven dříve, než vzniklo samotné město. Původně to byl strážní hrad, vzniklý pravděpodobně během 13. století na vrcholu říčního svahu. Ve druhé polovině 13. století se stal sídlem královského urburéře a po roce 1300 centrální mincovnou českého království, v níž se razila jednotná měna – pražský groš. Přestavbou byl hrad adaptován k výrobním účelům, ale také i jako královské sídlo. Reprezentační a zároveň výrobní funkce dvora vyžadovala řadu náročných stavebních úprav, architektonicky nejvýznamnější byla především vrcholně a pozdně gotická přestavba.

Součástí areálu Vlašského dvora byl i tzv. Mincmistrovský dům postavený na konci 15. století na místě příkopu na severozápadní straně. Areál dvora byl významněji přestavován v 16. a v první polovině 19. století. Po ukončení těžby a zpracování stříbra byl dvůr využíván jako báňský archiv a později jako dívčí a chlapecká škola.

V období vlny restaurování kutnohorských památek na konci 19. století byl Vlašský dvůr v letech 1893–1899 podle projektu Ludvíka Láblera přestavěn. Tehdejší metoda přístupu k této památce byla již ve své době kritizována, havarijní stav a nové využití stavby si vyžádalo radikální řešení. Obrazové prameny k poznání historické podoby a stavebního vývoje tohoto objektu jsou zásadní. Materiály v našem archivu lze rozdělit na dvě skupiny. První zachycují stav před přestavbou a lze je datovat od první poloviny 19. století do roku 1893, vynikají tu olejomalby Josefa Hilberta, první fotografie od Andrease Grolla nebo velký soubor fotografií od Jindřicha Dittricha. Druhou skupinu tvoří fotografie zachycující průběh rekonstrukce a přestavby Vlašského dvora v letech 1893-1899 od Josefa Steffela, Oldřicha Jelínka nebo bratří Výborných.