Sebelumnya, Vihara Guna Vijaya dikenal sebagai Cetiya Guna Vijaya, di mana di lantai II sebuah Ruko dijadikan sebuah Dhammasala kecil untuk kegiatan Puja Bakti. Untuk pertama kalinya Cetiya Guna Vijaya digunakan sebagai tempat ibadah yaitu pada bulan Mei tahun 2005. Tepatnya pada tanggal 22 Mei 2005 diselenggarakanlah Puja Bakti Perayaan Hari Tri Suci Waisak 2549 BE / 2005, yang pada waktu itu dihadiri oleh Y.M. Bhikkhu Atthakaro.
Dalam pembinaannya, Cetiya Guna Vijaya berlandaskan Kitab Suci Tipitaka Pali dan di bawah pembinaan Sangha Theravada Indonesia. Dan sebagai wujud dari hasil pembinaannya, berkembang pula organisasi-organisasi Buddhis Theravada lainnya antara lain Majelis Agama Buddha Theravada Indonesia (MAGABUDHI), Wanita Theravada Indonesia (WANDANI) dan Pemuda Theravada Indonesia (PATRIA).
Kehadiran Cetiya Guna Vijaya serta organisasi-organisasi Buddhis tersebut cukup memberikan sumbangsih dalam pembinaan umat Buddha di kota Tanjungpinang. Selain usahanya dalam pembabaran Buddha Dhamma, juga melaksanakan kegiatan-kegiatan sosial sebagai cerminan dari ajaran Buddha itu sendiri.
Seiring dengan perkembangannya, umat binaan Cetiya Guna Vijaya juga bertambah banyak. Oleh karena itu diperlukan sarana yang memadai guna mendukung pembinaan umat, maka pada tahun 2007 dibentuklah suatu yayasan dengan nama Yayasan Theravada Sakyaputta yang bertugas untuk menyediakan sarana dan prasarana pendukung, dengan membangun sebuah Vihara dengan nama Vihara Guna Vijaya, yang berlokasi di Jl. Ir. Sutami Gang Delima No. 8F, Tanjungpinang.
Demikianlah sejarah singkat perkembangan Vihara Guna Vijaya. Mulai dari sebuah cetiya kecil kemudian berkembang menjadi Vihara, yang di mana pada saat ini sedang dalam tahap pembangunan.
