諸費用ローンの繰り上げ返済について質問です!住宅ローンがフラット35の…

諸費用ローンの繰り上げ返済について質問です！
住宅ローンがフラット35のため、ベストミックスという諸費用ローンも借りています。
諸費用ローンのみ全額返済したい(ローン控除対象外)と考えており、
・一部繰り上げ返済手数料:5,500円
・全額繰り上げ返済手数料:33,000円
です。
残額が2,309,000円とかですが、230万を一部繰り上げ返済すれば、残りの端数は2回くらいローンとして払うことになると思いますが、そのほうが手数料安く済むよな🤔？と思っています。
この認識あってますか😭？！
ご回答お待ちしております🙇‍♀️