最も高い位置に設けられた主郭は、平面形が25×30ｍ程度の長方形を呈し、東側と南側には二重の空堀が設けられています。主郭の南側には、30×40ｍほどの比較的広い曲輪が設けられています。また、北西側の丘陵突端部にも小規模な平坦面があり、曲輪とみられます。
さらに、同じ段丘上の100ｍほど南側には、愛洲氏館跡があります。この館と五ヶ所城は一体として機能していたと推測されます。
五ヶ所城や愛洲氏館は、南北朝期から戦国期にかけて伊勢・志摩地域で活躍し、「剣祖」とも呼ばれる愛洲移香斎を輩出した愛洲氏一族のものといわれています。愛洲氏の実態はほとんど分かっていませんが、15・16世紀には五ヶ所浦付近で活動していたようです。
なお、五ヶ所城跡は昭和13年に三重県指定史跡となっており、周辺は公園として整備されています。
主郭にある説明板と石碑
おもな時代：室町時代
遺跡の所在地：南伊勢町五ヶ所浦
