A bécsi kongresszus idején a fiatal huszártiszt botrányt kavaró viszonyt kezdett sógornőjével, Caroline Meade-del. Az asszony korai halála évtizedekig kísértő bűntudatot váltott ki Széchenyiből. A magánéleti stabilitást keresve később hiába kérte meg Caroline húga, Selina, majd Henriette Liechtenstein kezét: a labilisnak tartott kérőt a főúri családok elutasították.