Le jeudi 31 août 1820, Louis Marchand aperçoit, sur la table de travail de Napoléon, une liste de noms : Caulaincourt, Savary, Ségur, Montesquiou, Daru, Drouot, Turenne, Arnault et Denon… Noms listés pour remplacer le Grand Maréchal.
Madame Bertrand s’était mis en tête de quitter le rocher et d’emmener son mari : elle rêvait de départ, depuis des mois, et Lutyens l’avait entendue gémir « qu’elle se sentait faible et malade ». Ce vœu n’était pas déraisonnable car, en 1815, le Grand Maréchal s’était engagé à passer un an à Sainte-Hélène et il y était encore cinq ans après. Ses enfants grandissaient, ses affaires étaient en désordre du fait de sa condamnation en France et la santé de sa femme l’exposait à cent avanies. Napoléon, qui connaissait tous ces détails, comprit que la décision de Fanny était irrévocable et querelle le mari avant de consentir à un congé de neuf mois.
Cette défection allait bouleverser ses habitudes et porter un coup à sa Maison : le Grand Maréchal se faisait annoncer chaque matin ; la comtesse, dont la conversation ne manquait pas de piquant, savait être gracieuse et les enfants dont le babillage ne s’embarrassait d’aucun protocole, entretenaient une animation qui permettait d’oublier que l’île était une prison.
– « Bertrand ne voit pas que si je le laisse conduire sa femme en Europe, il ne me retrouvera plus à son retour », dit-il à Marchand.
Maison Bertrand en 1974. Aujourd’hui la maison qui appartient au Gouvernement de Sainte-Hélène est à louer !