Over byen troner Inverness Castle og er med til at understrege Inverness’ strategiske position. Hvor det i tidligere tider handlede om at kontrollere magten i højlandet, er det nu som porten til højlandet, byen spiller en vigtig rolle.
Navnet kommer fra floden Ness, der flyder fra Loch Ness og ud i Moray Firth – fjorden som munder ud i Nordsøen. Ordet ’inver’ er udbredt i skotske stednavne, og det betyder udmunding eller hvor floder krydses.
