Il palazzo del Chiarone è situato lungo la via Aurelia nei pressi della frazione di Chiarone Scalo e nelle vicinanze del torrente Chiarone che segna il confine tra la Toscana e il Lazio.

Il granduca Leopoldo II (1824-1859) durante il suo regno decise di creare ex novo un sistema doganale efficiente sia per lottare contro il contrabbando, sia per adeguare il controllo fiscale operato dallo Stato alle nuove realtà commerciali. Tra il secondo e terzo decennio dell'Ottocento furono costruite nuove dogane in tutti quei luoghi dove fervevano gli scambi commerciali, soprattutto sul litorale: a Follonica, Portiglioni, San Rocco, Talamone, Porto Santo Stefano, Chiarone, Pescia Fiorentina, che si aggiunsero così a quelle già realizzate da Pietro Leopoldo a Castiglione della Pescaia, La Trappola, Pitigliano, ecc.

Nel territorio di Capalbio, nell'occasione della sistemazione e costruzione del nuovo tracciato della via Aurelia, fu realizzato, dopo il 1830, l'edificio oggi denominato Palazzo del Chiarone, ovvero l'antica Dogana posta al confine con lo Stato Pontificio, destinato a locanda e dogana.

L'edificio, oltre al controllo del passaggio delle merci, aveva lo scopo di arginare l'ingresso dei briganti in fuga dallo Stato del Papa.

Il fabbricato, prospiciente la via Aurelia, fu realizzato in stile neorinascimentale e presenta la facciata caratterizzata da un ampio loggiato al piano terra composto da cinque arcate centrali e due laterali, coperto con volte a botte. Il loggiato termina con un ampio terrazzo accessibile dal primo piano. L'edificio ha pianta a forma di 'C', con un cortile racchiuso da un alto muro. La copertura è a padiglione ed è caratterizzata da numerosi camini tipici delle strutture di accoglienza. Tutti i prospetti presentano aperture regolari con cornici in pietra scandite da una rigorosa simmetria; al piano terra le porte e le finestre sono sovrastate da lunette tamponate.

L'interno manifesta ancora l'eleganza e l'ampiezza originarie. Al piano terra si accede dal loggiato tramite tre ampi portoni in legno. Il portone centrale costituiva l'ingresso principale, quelli ai lati l'ingresso ai locali di servizio. Il piano terra era caratterizzato da grandi ambienti in parte coperti con volte a botte, in parte da solai in legno di larice. I locali erano destinati a varie funzioni: ufficio doganale, ricovero delle merci, cucina con dispensa, mensa, dormitorio, oltre ad un piccolo alloggio del corpo di guardia che aveva un ingresso indipendente dall'esterno e un vano destinato a cappella. Interessante è il piano mezzanino, cui si accedeva da una scala di servizio, articolato in tre alloggi destinati probabilmente alla guarnigione che aveva il compito di controllare il dormitorio, la cappella e la mensa, ovvero gli ambienti più frequentati da persone esterne all'organico di servizio. Un'imponente scalinata centrale con gradini in pietra e pareti decorate, conduceva ai due piani superiori destinati agli alloggi del personale della dogana e ai viaggiatori caratterizzati da vani molto ampi, con soffitti in legno di larice e numerosi caminetti.

L'uso pubblico dell'edificio, destinato a dogana, cessò con l'annessione al Regno d'Italia del Granducato di Toscana prima e dello Stato Pontificio poi.

L'immobile fu successivamente venduto, intorno al 1870, ai principi Colonna-Rospigliosi del ramo della famiglia Ludovisi Buoncompagni che trasformarono l'edificio in centro dell'azienda agricola, modificando la disposizione planimetrica interna.

Durante la seconda guerra mondiale l'edificio fu occupato da numerose famiglie sfollate, provenienti soprattutto da Roma. Negli anni Cinquanta e Sessanta del Novecento il complesso fu abbandonato all'incuria e depredato di arredi, di suppellettili e di materiali da costruzione. Attualmente, acquistato dall'Università degli Studi 'Guglielmo Marconi' per adibirlo a sede universitaria, è in fase di restauro.