Desde la llegada de los primeros evangelizadores en la época de La Colonia, entre ellos Fray Antonio de Roa (1545), la Isla del Ídolo era considerada un sitio sagrado, que incluso infundía temor. A lo largo de los siglos, esta isla sigue estando rodeada de misticismo, de leyendas e historias verdaderas.
Desde que los huastecos ocuparon el norte de Veracruz, esta isla ejercía cierta fascinación e incluso, la tradición oral refiere que Tomiyauhatl -que sería reina- creció en esta isla, a la que se conocía como Kisin ku´ul. También hay relatos de sacrificios de niños en honor Yejchel mam, cuya escultura pudo haber dado origen al nombre de Isla del Ídolo.
En abril y marzo de 1959, el arqueólogo Alfonso Medellín Zenil realizó excavaciones en esta Isla y halló varios entierros que datan de los años 1,100 al 1,500 dc. En los restos encontró mutilaciones dentarias y deformaciones craneales inducidas.
Este sitio está lleno de historia y de grandes misterios. Sin embargo, el Instituto Nacional de Antropología e Historia (INAH) no ha ido más allá, para desentrañar la historia y secretos ocultos de quienes ocuparon esta isla.
Los mismos conquistadores tenían miedo de acercarse al Ídolo y los frailes trabajaron muy de cerca con los nativos para convertirlos al cristianismo. En las crónicas también se hace referencia a los ídolos encontrados en este sitio.
En el municipio también hay otros sitios arqueológicos que no han excavado, como El Chijol, al norte de Cabo Rojo; Cuecillos, en la frontera con Naranjos e Isla de Lobos. De igual forma, los habitantes de las comunidades han reportado vestigios en Majahual, La Labor y Naranjal.
En los periodos vacacionales, muchos turistas atraídos por las historias y leyendas suelen visitar Isla del ídolo, aunque hay poco que ver, ya que los grandes misterios están ocultos bajo la arena y entre los pantanos.