Nel giugno del 1970, proprio mentre era all'apice del successo, la vita di Luttazzi fu travolta: venne infatti arrestato con Walter Chiari e Franco Califano con l'accusa di detenzione e spaccio di stupefacenti. L'arresto era avvenuto in seguito alla intercettazione di una telefonata tra i due. Dopo ventisette giorni passati in carcere, venne liberato e completamente scagionato. Nel periodo della sua detenzione, la conduzione di Hit Parade fu affidata all'ex-cantante Giancarlo Guardabassi, già presentatore della rubrica radiofonica Dischi caldi.

Una volta riabilitato, tornò a presentare Hit Parade alla radio e riprese il programma televisivo retrospettivo Ieri e oggi. Negli anni successivi, lavorò ancora saltuariamente in televisione (nel 1982 nella trasmissione Cipria di Enzo Tortora; nel 1991 per Telemontecarlo a Festa di compleanno) prima di ritirarsi a vita privata, amareggiato dalla lapidazione mediatica cui era stato sottoposto.