Dicen los Totoroez que ellos han vivido en el territorio que ocupan desde mucho antes de que llegaran los españoles a América. También cuentan que sus antesados venían de Perú, y que eran los mismos de los guambianos o misak, solo que al llegar a Paniquitá, sobre la cordillera Central se separaron. Hacia 1533 llegaron los españoles y se adueñaron de su territorio. Parte de este les fue reconocido en 1630, cuando se creó el Resguardo Indígena Totoró.
Después de la Independencia, en los siglos XIX y XX, parte del territorio del resguardo les fue arrebatado. Desde 1960 el Cabildo ha trabajado para recuperarlo, lo que les ha traído muchos problemas, a los que se suma la amenaza del conflicto armado, que llegó a sus sitios sagrados e intimidó a las personas. Algunas se vieron forzadas a irse.
Las explotaciones mineras y de los recursos naturales, que destruyen la tierra, su fuente de alimento, la falta de empleos y los desastres naturales también presionan a los Totoroez a “salir del territorio mientras se soluciona el problema, esto implica salir de donde tenemos enterrada la placenta, salir de nuestra cuna (…) perdiendo nuestros usos y costumbres, también perdiendo nuestros cultivos y quedarnos con la pobreza; en otras palabras con el desplazamiento llega el miedo, el sufrimiento y la muerte”. (Cabildo de Totoró, 2011, p. 56)