Με λαμπρότητα η πόλη του Ναυπλίου τιμά τον Άγιο Ανδρέα τον πρωτόκλητο στο ιστορικό εκκλησάκι που βρίσκεται στο κάστρο του Παλαμηδίου και είναι αφιερωμένο στον Άγιο.
Τον πανηγυρικό εσπερινό τέλεσαν οι Ιερείς, π. Παναγιώτης Κιντής , π. Κωνσταντίνος Σέρρος και π. Βασίλειος Γκολέμης, ενώ έψαλε ο Πρωτοψάλτης του Μητροπολιτικού Ναού Αγίου Γεωργίου Δημήτρης Καρκαλάτος.
Ο μικρός αυτός ναός χτίστηκε το 1712 από τον Αυγουστίνο Σαγρέδο στον προμαχώνα του Αγίου Ανδρέα, του πρώτου προμαχώνα του κάστρου, δίπλα από τη μετέπειτα φυλακή του Κολοκοτρώνη. Ο προμαχώνας λεγόταν αρχικά προμαχώνας Αγίου Γεράρδου, αφού ήταν αφιερωμένος στον άγιο της ρωμαιοκαθολικής εκκλησίας από τους Ενετούς και ήταν προστάτης της οικογένειας των Σαγρέδων.
Στις 29 Νοεμβρίου του 1822, παραμονή της γιορτής του Αγίου Ανδρέα, ο Στάικος Σταϊκόπουλος και ο Δημήτρης Μοσχονησιώτης με 350 άντρες απελευθέρωσαν το Παλαμήδι και την επόμενη μέρα έγινε δοξολογία στον Άγιο Ανδρέα Παλαμηδίου. Ο Σταϊκόπουλος κατέλαβε το Παλαμήδι με μια «αναίμακτη κατάληψη» σύμφωνα με την παράδοση, σημάδι που έδειξε στους Έλληνες ότι είχαν τον Άγιο με το μέρος τους και έτσι, το αφιέρωσαν σε αυτόν.
O Άγιος Ανδρέας Παλαμηδίου που προοριζόταν για την άσκηση λατρείας των υπερασπιστών του κάστρου, είναι ένας καμαροσκέπαστος ναός με απλή λιθοδομή και το ιερό του βρίσκεται κάτω από το βράχο. Στεγάζεται με ημικυλινδρικό θόλο και εισχωρεί κατά το ανατολικό μισό μέρος μέσα σε μία από τις καμάρες που στηρίζουν τον περίπατο των τειχών. Μέσα στο ναό διακρίνει κανείς κάποιες φορητές εικόνες, ενώ οι τοίχοι έχουν υποστεί φθορά και δεν υπάρχει αγιογραφία.
O Άγιος Ανδρέας Παλαμηδίου σήμερα υπάγεται ενοριακά στον Άγιο Γεώργιο και τελείται λειτουργία την τελευταία Κυριακή του Νοεμβρίου με πλήθος κόσμου να ανεβαίνει στο Παλαμήδι, αφού συμπίπτει με την επέτειο της απελευθέρωσης της πόλης από τους Τούρκους.
