我想取消的时候，商家说我需要支付违约金，他们没有说如果我违反违约金，我还需要支付违约金吗？

可以取消，但需按照合同内容支付相应的违约金。按照和银行签订的合同协议执行，合同生效之后提前一次性还款或者撤销等都算违约，协商不成，可诉讼处理。