אבותיהם של בני רפא נוי גילפו כמעט אלף פסלי ״מואי״ — ראשים ופלגי גוף ענקיים מאבן געשית, שמייצגים אבות קדמונים חשובים ועומדים רובם עם הגב לים, כאילו שומרים על הכפרים. לפי המסורת הפסלים ״הלכו״ למקומם, וניסויים הראו שאפשר להזיז אותם זקופים בעזרת חבלים, בתנועה שנראית כמו הליכה.
במאה ה־19 נחטפו רבים מתושבי האי לעבדות במכרות בפרו, ומחלות שהגיעו עם זרים הרגו רבים אחרים; לפי ההערכות ירד מספרם לכמאה ועשרה איש בלבד בשנות ה־70 של המאה ה־19. העם שרד והתאושש. היום בני רפא נוי מלמדים את שפתם לילדים, מחזירים פסלים וחפצים ממוזיאונים, ומנהלים את הפארק הלאומי של האי.

