人吉城は鎌倉時代初期の建久4年（1193年）に入封した相良長毎以来、明治の廃城にいたるまで約670年もの間、相良氏が一度も領地を追われることなく22代にわたって同一の地を統治し続けた、国内でも類を見ない不変の歴史を持つ相良家2万石の拠点です。

城郭は、北側を流れる球磨川の急流を天然の外堀として取り込んだ「水城」の構造を採り、川に面して割石を積んだ「打込ハギ」の高石垣が延々と連なっています。その石垣の最上部には、幕末の文久2年（1862年）に起きた大火の復興時に施された「武者返し（はね出し）」と呼ばれる独自の遺構が残されています。これはヨーロッパの築城術を応用し、石垣の頂部から平たい切石をひさしのように外側へ大きく突き出させたもので、外敵の直登を物理的に遮断するこの連結遺構が全体に現存しているのは全国でここだけです。

さらに、川沿いの本丸から離れた御側御門跡の地下には、階段を備えた２つの巨大な井戸を持つ「相良清兵衛屋敷跡」の遺構が広がっており、独自の生活水利文化を現代に伝えています。城内は本丸、二の丸、三の丸が階段状に配置された連郭式の平山城であり、相良氏の長期統治のなかで拡張が続けられました。