我们双方都是已婚人士，对方和我都表明了说跟原有家庭过不下去才

我们双方都是已婚人士，对方和我都表明了说跟原有家庭过不下去才会彼此在一起，因为这事我对对方投入了感情和金钱，可是中途又扯到家庭的各种原因他离开我，然后几次三番的又回头来找我，都是从我身上借取钱财，我现在醒悟到了自己被骗，请问我可以起诉对方吗？我私下找他协商过让他还我钱，他拒绝了，还说随便我怎么样，他比我小，还说这是他付出的青春，他也是付出，所以他不会给我，请问我该怎么办？之前我起诉过他一次，他说他会还我，叫我撤诉，我信了他，可是他根本一分没给过，后来又甜言蜜语让我当时放弃追讨。