家族の理解が得られなくても起業していいか

将来主人が定年したら、ライターなどを中心としたオフィスワークで起業したいと考えています。
ですが、主人も定年したら起業し、自分の飲食店を持ちたいと考えているようです。
退職金を当てにしているようですが、私は不満です。
退職金はできるだけ、老後の資金に充てたいからです。
そのうえ主人は、できれば私にはこのまま今のパートを続けてもらい、家計を支えて欲しいと考えています。
私も起業したいと胸の内を明かしましたが、あまりいい顔をしません。
2人で起業しても何とかなると思うけど、できることなら今のパートを続けて欲しいというのが本音のようです。
定年はまだ先ですが、このまま主人と意見が合わないまま自分も起業していいものか、悩んでいます。
お互いに言えることですが、家族の理解を得られないまま見切り発車で始めても、どちらもうまくいかないのではないかと思います。
こういう場合は、どちらの意見を優先すべきでしょうか。