2021年协议离婚，原因是我前夫长期不管家里，结婚六年基本上

2021年协议离婚，原因是我前夫长期不管家里，结婚六年基本上是要钱没钱要人没人。孩子现在八岁了，他都没带过几天。结婚我们双方各出五万交了首付买房，后期共同还款，因为我前夫不是本地户口，所以房子在我名下。最近两年他生意有了点起色，当时离婚协议是写明孩子抚养权归他，我不用出抚养费，同时他于五年内共给我五十万（结婚六年所有花费几乎都是我）。现在离婚两年了，因为他没有时间的关系，孩子一直都是我在带。两年他共转给我二十万，现在我要二婚了，他知道消息后要我签离婚补充协议，把二十万还给他，同时五年给我五十万作废，但是他给的二十万都作为孩子生活费了，现在他要起诉我，请问我怎么办？