Lorsque sort l’album Baby Alone in Babylone à la rentrée 1983, Jane Birkin et Serge Gainsbourg sont séparés depuis trois ans et la chanteuse-actrice n’a pas sorti d’album depuis cinq ans. « Parce que je n’avais rien à chanter, dit-elle à la RTBF en novembre 1983. On m’a offert d’autres chansons mais, soit je ne les trouvais pas… finalement je ne voulais chanter que Serge, alors j’avais beau demander des paroles plus jolies, des musiques différentes, etc., je me suis rendu compte que ce n’était pas la peine si ce n’était pas Serge. » Gainsbourg justement, s’est mis en tête de lui écrire tout un album. « La naissance de cet album reste un mystère. Serge n’avait aucune obligation. Je n’étais pas en contrat avec Phonogram. Il travaillait sur l’album d’Adjani. Il n’avait absolument pas besoin de l’écrire. Quelque part, il a trouvé une façon pour nous de continuer. J’avais conscience de chanter à sa place, si bien que j’ai dit que j’étais sa face B. Cette formule lui a plu, mais je ne sais même pas s’il en était lui-même conscient. Pourtant, en écoutant les textes, c’était une évidence ». (Platine, octobre 1996)

Serge Gainsbourg travaille en effet sur deux albums en même temps, l’un pour Birkin et l’autre pour Isabelle Adjani. Celui de Jane, il en parle déjà depuis un moment, notamment aux médias : « Il avait le titre, Baby Alone in Babylone, mais ni les textes, ni les mélodies. Seulement le titre et l’ambiance de solitude du disque, rien d’autre », commente Jane.

Les mélodies finissent cependant par se faire un chemin, et Gainsbourg convoque alors Jane Birkin chez lui, rue de Verneuil, pour lui faire écouter les maquettes qui n’ont pas encore de textes, sur son petit magnétophone. Là, elle doit lui faire part de ses préférences, en attribuant des étoiles à ce qu’elle entend. Une mélodie superbe lui accroche l’oreille, mais elle est déjà réservée à Adjani qui en fera Pull marine. Heureusement, il y a encore quelques merveilles, comme Fuir le bonheur de peur qu’il ne se sauve ou Les Dessous chics.

Durant l’été 1983, Gainsbourg est à Londres pour mettre en boîte ses compositions et c’est en août, à Paris et en cinq jours, que Jane enregistre ses voix. Elle vient tout juste de terminer le tournage de L’Amour par terre de Jacques Rivette et se retrouve en studio deux jours après, exténuée, face à un Gainsbourg qui n’a toujours pas les textes de ses chansons. Il les écrira dans l’urgence, la nuit, afin que Jane puisse enregistrer le lendemain.

L’album Baby Alone in Babylone est dans les bacs en octobre, d’abord porté par la chanson éponyme, que Jane interprète en télévision. Puis, en fin d’année, c’est un second 45 tours qui prend le relai, mettant en avant Baby Lou et Fuir le bonheur de peur qu’il ne se sauve, qui se relaieront en radio, tout d’abord Baby Lou début 1984, puis Fuir le bonheur à la rentrée.

Sur la face A, Baby Lou, est l’une des premières chansons enregistrées pour l’album et la raison en est simple : c’est une reprise, et Gainsbourg n’a encore rien d’autre à faire chanter à Jane. Baby Lou, dont il a signé le texte pour l’album Rock’n rose d’Alain Chamfort en 1977 (musique de Chamfort et Michel Pelay), est une histoire d’auto-stoppeuse désabusée (« Tu n’es pas concernée, plutôt du genre consternée »). « Souvent on peut crier quand on est seul sur une autoroute. J’ai trouvé très bien qu’il y ait une chanson avec une fille », commentera la chanteuse. Mais Baby Lou, c’est aussi, évidemment, un clin d’œil à la troisième fille de Jane, née il y a quelques mois et baptisée Lou. « Pour Jacques (Doillon) à cause de Lou Andreas-Salomé, pour moi à cause des Poèmes à Lou d’Apollinaire ». La chanson avait déjà été reprise l’année précédente par Lio, en face B de son 45 tours Mona Lisa. Birkin en démarrera la promotion le 24 décembre 1983 dans Dorothée : Le Show, émission spéciale diffusée sur Antenne 2. En 1988, Chamfort et Birkin interprèteront une nouvelle version de Baby Lou en duo, à l’occasion de l’émission Embarquement immédiat consacrée au chanteur.

Sur la face B, c’est Fuir le bonheur de peur qu’il ne se sauve, sans doute l’une des plus belles chansons du répertoire de Birkin. « Toutes les paroles des chansons après notre séparation parlaient de rupture, c’était compliqué pour moi de les chanter, compliqué pour lui de les écouter ». Si le titre du morceau est emprunté à Francis Picabia, Jane l’interprète ainsi au moment de la sortie de l’album : « Je trouve que c’est une philosophie parfaitement sage qu’il a toujours eue. En réécoutant ça l’autre jour, j’ai compris que j’étais lui. Ceci est la preuve que c’est écrit par un homme sentimental qui cherche à se protéger ». Chanson de détresse absolue, elle n’en est néanmoins pas dénuée d’espoir puisque le soleil brille toujours là-haut, « radieux ». En télévision et en radio, Fuir le bonheur prend la relève de Baby Lou à partir de la rentrée 1984, et il est à noter qu’un Formule un des Carpentier est consacré à Jane Birkin le 30 novembre sur TF1 et met en avant cinq des onze chansons de l’album.

L’album justement, est un succès critique et commercial. Il remporte le prix de l’Académie Charles-Cros et décroche un disque d’or. Comme elle le déclare dans La Vie à plein temps sur FR3 le 23 novembre 1983 à propos de son disque : « Il me semble vraiment l’une des choses les plus jolies que j’aie jamais entendue. Quand j’ai chanté sur ce disque-là, il y avait un ou deux moments où j’avais l’impression que mon lourd corps allait décoller, comme si j’étais une danseuse. (…) Il n’y a qu’un album de Gainsbourg pour voler. »

Notons également la sortie d’un maxi 45 tours en 1984 qui reprend les trois premiers titres exploités en single : Baby Lou, Fuir le bonheur et Baby Alone in Babylone. Fuir le bonheur y figure en version longue (des passages instrumentaux ont été rajoutés) toujours inédite en CD. L’album continuera son chemin avec l’exploitation d’un troisième single, Les Dessous chics, avant que Jane ne goûte les joies du Top 50 avec Quoi, un inédit, en 1985.