Der Rinsleyfelsen liegt im Sauerland-Rothaargebirge ungefähr 1,2 km nordwestlich von Saalhausen, einem Ortsteil von Lennestadt, bei Kreis Olpe. Westlich von dieser Felsformation befindet sich der ebenfalls beeindruckende Gleierfelsen.