株の配当金の確定申告について

44歳の主婦で同年齢の夫と12歳の息子がいます。夫は団体職員で年収は900万程度で、私は配偶者控除をうけるためパートはしていますが年100万以内の収入に抑えています。質問は株の配当金を確定申告する場合についてです。現在私名義の株の配当金で年20万円くらいの雑所得を得ています。これまでは「源泉徴収あり」の口座にして税金が引かれていました。ただ場合によっては確定申告で税金分が戻ってくると知りました。基礎控除の38万円以内であれば税金分は全額もどると聞いたので、それならば申告したいと思うのですが、問題はパート収入の100万円に合算されるのか否かです。合算されて夫の扶養を抜けるような事態になれば税金面で本末転倒になってしまうのでそこのところを知りたいのですが、ネットで調べてもはっきりとわかりません。ぜひ教えていただけたらと思います。