Joseph Bonaparte a înțeles că roata istoriei s-a răsucit atunci când fratele său mai mic a abdicat pentru prima dată.
De aceea, Joseph și-a investit o parte din avere peste ocean și s-a folosit de relațiile sale pentru a obține pașapoarte.
Când a ajuns la New York, în august 1815, fratele împăratului a dus o viață discretă, neștiind ce primire îi va face guvernul american.
S-a instalat la o pensiune familială modestă și a folosit pseudonime precum „Monsieur Bouchard” sau „contele de Survilliers”.
James Madison, al patrulea președinte al Statelor Unite, refuză să se întâlnească cu el, însă îi acordă ospitalitatea.
Atunci, Bonaparte achiziționează o casă în Philadelphia, apoi un domeniu de 85 de hectare pe malul râului Delaware, numit Point Breeze.
Însă fostul rege ale visuri mari: cumpără pas cu pas terenuri în regiune, astfel că domeniul său ajunge la 720 de hectare.