持ち家のローンを一括で返済すべきかどうか

現在独身で持ち家のローンをあと7年で終了する予定です。年収は650万以上あるので普段の生活にはまったく困ることはないのですが、残りのローンの600万を貯金を下ろして一括で返済するかあと数年かけて繰り上げ返済を繰り返しながら今までのように返して行くべきか悩んでいる。ローンが返済できたら今の収入のいい職場を変えて、収入は減っても体力的に楽な仕事につきたいと思っている。今の職場を辞めるときの退職金が残りのローンの返済額にも当てられるのでそれでもいいのかと色々選択肢があり悩んでいる。住宅ローンはなるべくなら早く返すのがいいと言われているが、貯金を下ろしてても返済に当てればいいのか、貯金を下ろした途端に何かお金がかかることがあれば困るとか悩んでいるので的確なアドバイスがほしい。