副業として不動産賃貸業を始めたいが、問題がありますか

私は30代の年齢の会社員で、妻と小学生の子供の3人暮らしです。年収は600万円で、賃貸マンションで生活しています。今年に入ってから、新型コロナウイルスの感染流行が原因で、私が勤務する会社の業績も悪化しています。そのため、なんらかの手段で収入を増やす方法を検討しています。
検討した手段のなかでメリットが大きいと思えた方法が、住宅ローンを借りたうえで中古マンションを購入し、実際には私たち家族は居住せずに、賃貸に出して賃料収入を得る方法です。ネットバンクであれば、0.5%程度で住宅ローンを借りることができますから、3000万円程度の中古マンションを購入し、家賃15万円程度で賃貸にだせば、確実に年間100万円程度の副収入を得られると思ったのです。
ここで相談なのですが、住宅ローンを借りていながら、実際は居住せずに賃貸に出し、収入を得ることについて問題はありますか?