Paz se nalazi na glavnom, a zapravo i jedinom putu kojim se iz pravca Učke i Boljunskog polja moglo popeti strmim i nestabilnim gudurama do središta poluotoka i do središnjeg naselja Knežije – Pazina.Naime, Paz je bio središte zasebne feudalne gospoštije koja je sjedište imala u ovdašnjem kaštelu čiji su ostaci i danas vidljivi na uzvisini iznad naselja. Povijesni dokumenti nam otkrivaju niz imena vezanih uz ovaj kaštel, od akvilejskog partijarha, Ebersteina, Waldersteina, do porodice Barbo koja je 1570. obnovila Kaštel i uz koju su ostale vezane mnogobrojne legende, ali i povijesne zabilješke od kojih se i danas ježi koža.