鎌倉幕府の御家人として活躍した中世武士河越氏の居館跡とされる。1984年に国指定史跡となり、現在一部が史跡公園として整備されている。史跡内には戦国大名上杉氏の陣跡の遺構もあり、中世を通じて武士が活躍した地である。