Zpočátku byla Vila Vipolže loveckým zámečkem hrabat z Gorice a po dlouhou dobu jim sloužila k letním dovoleným. Následnými majiteli byli šlechtici z rodů Herbersteinů, Della Torre, Attemů a Teuffenbachů. Během 16. a 17. století zažilo sídlo válku mezi císaři a Benátčany. Ti sídlo v první polovině 17. století renovovali a vytvořili z něj nádhernou renesanční vilu obdélníkového tvaru se dvěma hranatými opřenými věžemi a s benátskou výzdobou. Majitelé pak vilu využívali jako letní sídlo s nádherným parkem zdobeným barokní kašnou.
Vila Vipolže nebyla ušetřena během dvou světových válek a v roce 1948 ji také zasáhl požár. Dnes se Vila Vipolže Vila znovu probudila. Po nedávné rekonstrukci se poprvé otevřela jako nové regionální kulturní kongresové centrum. Renesanční Vipolže nyní vyzařuje ducha spojení různých světů a lidí. Koná se zde řada kulturních akcí, včetně výstav a koncertů, stejně jako kongresová setkání, svatby a vzdělávací akce.
Vila Vipolže se nachází v obci Vipolže v jihozápadní části regionu Brda nedaleko italských hranic. Je obklopena vinicemi a vinnými sklepy s výhledem na vzdálené Julské Alpy.