法律主观：
可以退回的。非法集资属于犯罪行为，如果当时已经 立案 的话应由侦查机关追回，没有立案的话建议先进行报案处理。如果合同有明确约定的话可以民事 诉讼 方式追回来。因参与非法吸收公众存款、非法集资活动而受到的损失，由参与者自行承担，所形成的 债务 和风险，不得转嫁给未参与非法吸收公众存款、非法集资活动的国有银行和其它金融机构以及其它任何单位。
法律客观：
最高人民关于适用《中华人民共和国刑事诉讼法》的解释第一百三十九条被告人非法占有、处置被害人财产的，应当依法予以追缴或者责令退赔。被害人提起附带民事诉讼的，人民不予受理。追缴、退赔的情况，可以作为量刑情节考虑。
