Il brano è stato scritto insieme al compagno di band dei Wham! Andrew Ridgeley quando George Michael aveva solo 17 anni. Lo spiega George Michael nella sua autobiografia “Bare”: “Stavo andando a fare il dj al Bel Air quando ho scritto ‘Careless Whisper’. Ho sempre scritto sugli autobus, sui treni e in macchina. Succede sempre durante i viaggi. Ricordo esattamente dove mi è venuta in mente la prima volta, dove ho inventato la linea di sax. So che sembra davvero strano e una cosa romantica da dire, ma ricordo esattamente dove è successo, dove ero seduto sull’autobus, come ho continuato e tutto il resto. Ci ho lavorato per circa tre mesi nella mia testa”. George e Andrew si sono ispirati alle storie dei primi momenti romantici di George. George ha spiegato che gran parte del contenuto della canzone è basato su eventi della sua infanzia.