现在他们要求退还代理费，不退还是违法的

法律分析：视具体情况而定。如果合同约定可以退代理费，那么代理费是可以退的。因为合同双方都应该按照约定全面履行自己的义务。当事人应当遵循诚实信用原则，根据合同的性质、目的和交易习惯履行通知、协助、保密等义务。法律依据：《中华人民共和国民法典》第五百零九条当事人应当按照约定全面履行自己的义务。当事人应当遵循诚信原则，根据合同的性质、目的和交易习惯履行通知、协助、保密等义务。当事人在履行合同过程中，应当避免浪费资源、污染环境和破坏生态。