我结婚6年了，当时要了彩礼4万，我刚20岁，就和他领证结婚了

我结婚6年了，当时要了彩礼4万，我刚20岁，就和他领证结婚了，我俩从乡里到城里打工，租的平房，里套外的，住了2年。在此期间，他有稳定工作，收入用来还债，我的用来生活，但他们公司要按绩效考核发工资，他就辞职了，然后就一直没个固定收入，在第3年我坚持要住楼房，然后，我们租了个楼房。房租每年7000，暖气费一千多，都是我付的，他的收入不稳定，没有给我交，我也不知道他干啥工作，因为付了房租啥的，我要还支付宝花呗借呗，因为我原生家庭落魄，我有多囊卵巢，不容易怀孕，然后这几年他前列腺有点问题，早泄，因手里没钱，不敢生孩子，而且我感觉他对未来没有规划，他今年34.老是不打招呼去钓鱼，我想离婚，他让我退彩礼！