El origen de la canción es un poema que Dylan escribió en Junio de 1965 tras regresar de una gira por Inglaterra. En aquellos momentos el artista se estaba replanteando su carrera musical debido al agotamiento y a las exigencias a las que estaba sometido, pero Like a Rolling Stone lo cambió todo ya que era algo totalmente suyo y hecho sin ningún tipo de presiones. Según palabras suyas la canción era un largo vómito de unas 10 páginas que poco a poco fue tomando forma musical.