我家有块自留地在路边，20年前左右我爷爷还活着的时候，爷爷的

我家有块自留地在路边，20年前左右我爷爷还活着的时候，爷爷的哥哥的孙子要结婚想在我们家地头盖一间房子，因为在村头路边能做点小生意，我爷爷奶奶因为是本家就让他盖了，我爷爷过世后，我们自己家也用不到那块地，奶奶也没有问他要，现在奶奶身体也不好，经人提醒才想给他说说让他把地还回来，他不同意。两年前他要把房子打倒重新再起房子，我奶奶没同意，然后他在他自己的宅基地上盖房子，现在奶奶87岁了的身体也不好，就想趁着身体还行的时候让他把地还回来，他说他住了20年就是他的了，说当时为什么让他盖，让他盖这个地方就是他的了，然后一直拖着，他是想拖到奶奶百年之后就更不用还了。经过村委会协调也是协调不好，我们应该怎办？