私がした方法は、最初に空のMVC5のサイトを作成して、そこにMVC4からWeb.config以外をコピー＆ペーストして、最後にWeb.configの中の必要な部分を移しました。
もちろん、追加しないといけないコンポーネントがあれば追加したり、再設定が必要なものは再設定してWeb.configに反映しました。
MVC4のサイトをファイルをこう書き換えてやればそのまま移行できるというような方法もあるようですが、私は時間ばかりかかってできなかったので先の方法でやりました。