老後の家計について心配です

ご質問ありがとうございます。
しっかりと貯金もされ、また将来のことも考えられていて立派です。
住宅ローンですが、やはりリタイアする前までに返済が終わっていることが望ましいです。
なお、住宅ローンの繰り上げ返済ですが、早く繰り上げ返済をした方が、利息軽減効果が大きくなります。
ですので、お子さんの教育費のかかる前、小学生までの間に少しずつ繰り上げ返済をされることをお勧めします。
また老後資金を準備する上で大切なことは、「何歳まで働くのか」、「どのくらいの暮らしを考えているか」ということを、しっかりとイメージしていくことです。
・下の計算式を参考にしてみてください。
① リタイアした年齢～平均余命までの収支総額
年金収入－生活費＝1ヶ月分の収支×（平均余命年齢－リタイア年齢）
② 特別支出の総額
リタイア時点の住宅ローン残高+家電の買替え費用+車の買替え費用+旅行・娯楽費+医療介護費（リフォーム代など）
③ 特別収入の総額
退職金・企業年金・確定拠出年金・個人年金・貯金
④ リタイアまでに貯めたいお金
①―②＋③
※平均余命：男性８１歳・女性８７歳
※生活費：現役の７０％～８０％くらい

参考までに、厚生労働省の「厚生年金保険・国民年金事業の概況（平成30年度）」のデータによると、夫がサラリーマンで、妻が専業主婦というケースでしたら、平均年金額は21万7182円になるそうです。また、共稼ぎのケースならば、26万6398円になります。
また生命保険文化センターの「生活保障に関する調査（令和元年度）」によると、夫婦2人で老後生活を送る上での最低生活費は、平均22万1000円で、ゆとりのある生活をするための費用は、月額平均36万1000万円となるそうです。
ご自身の老後のイメージと照らし合わせ、参考にしてみてください。