Fueron los frecuentes ataques de los piratas los que obligaron a los habitantes de Jávea a dirigirse dos kilómetros tierra adentro desde el litoral hacia una posición más elevada que ofrecía un mayor potencial defensivo, lo que llevó a la construcción de un recinto de gruesos muros que hoy circunda el Centro Histórico de Jávea.
La piedra desnuda de toba es el rasgo arquitectónico distintivo común en todo el casco urbano de Jávea, siendo los edificios clave el Ayuntamiento y el Mercado de Abastos, entre otros.
Entre las callejuelas del corazón del casco antiguo se alzan modestas casitas con sus fachadas encaladas repletas de flores de colores en los balcones, casas palaciegas de diferentes estilos de épocas, góticas, neoclásicas y modernistas, portales abovedados, ventanas góticas y rejas de hierro forjado, todo coronado por la piedra local distintiva.
Por su parte, el casco antiguo también cuenta con un gran patrimonio histórico, sobre todo, por ejemplo, la "Iglesia Fortificada de San Bartolomé", de estilo gótico isabelino, y el Museo Arqueológico y Centro Cultural, que bien merecen una visita para conocer más el pasado y presente de la localidad de Jávea.
Otra curiosidad del casco antiguo de Jávea es la posibilidad de degustar en sus modernos restaurantes la cocina local más tradicional, sirviendo platos típicos que se hacen aún más agradables por el siempre presente trato amable en un ambiente acogedor.