20代独身男性が住宅ローンを組むには

私は現在アパートに住む20代前半のIT企業勤務の会社員男性です。年収は副業も合わせると400万円弱になります。
そんな私は、1つ生活で悩みを抱えております。それは、現在住んでいるアパートがとても狭く居心地が悪いということです。引越しを考えたのですが、結婚願望があるわけでもなく、金銭的にも少し余裕があるため、住宅購入を検討しております。
検討中の物件の目安は、約2500万円程度の物件で、35年ローンを組んで買おうと考えています。20代前半で家を買おうとしている人は周りにはいないため、少し不安になっているのも事実です。まだ住宅購入は早いのか、そもそも、20代前半年収400万円程度で2500万円もの物件のローンを組むことが出来るのかを知りたいと思っております。