フリーターの年末調整について

数ヶ月前に会社を退職し、現在求職中の状態です。前職での人間関係の悩みなどから少し疲れてしまい、一年ほどは仕事、働き方をセーブしたいと思い、当面は短期間のアルバイトなどを掛け持ちして生計を建てていきたいと考えております。
今までは確定申告の手続きは全て会社任せにしてきたので、確定申告に関する知識が乏しくて不安なことが多いです。在職時には確定申告=余分に取られた税金が戻ってくる、という程度の認識だった(確定申告によって追加で徴収されることはありませんでした)のですが、もし今後フリーターになった場合は個人で確定申告をする必要がありますか?また、もししなかった場合の不利益についても教えていただきたいです。