Már 1267-ben említi egy oklevél a Szent Margit-kápolnát a tihanyi bencések tulajdonaként. A török pusztítás után nincs nyoma az írásos emlékekben, de 1726-ban a helyi reformátusok újítják fel, és használják templomként. Amikor elkészül a nagy Fehér templom, feleslegessé válik az épület, és 1855-ben eladják az izraelita egyháznak, amely 1945-ig működteti. A II. világháború után az elhurcolt zsidók közül kevesen térnek vissza, a még megmaradt hitközség a hajógyárnak adja el az épületet, amely garázsnak használta azt. 1991-től az épületben egy ideig középkori étterem működött, majd Balatonfüred Város Önkormányzata vásárolta meg.