Pulau ini ditemui pada 21 Ogos 1821 oleh anak kapal Inggeris Eliza Francis, dan dinamai oleh komandanya Kapten Brown menurut pemilik kapal tersebut, Edward, Thomas, dan William Jarvis. Pulau tak berpenghuni ini diilhak AS pada 1858, namun ditinggalkan pada 1879 setelah seton pupuk kotoran telah dibersihkan. British mengilhak pulau ini pada 1889, namun tak pernah menyediakan rangka untuk eksploitasi lebih lanjut. Endapan pupuk kotoran ditambang sampai akhir 1800-an. AS menduduki dan dan memperoleh lagi pulau ini pada 1935.
Perkampungan Millersville di bahagian barat pulau ini terkadang dipakai sebagai stesen pengkaji cuaca sejak 1935 sehingga Perang Dunia II, saat ditinggalkan; diduduki lagi pada 1957 selama Tahun Geofizik Antarabangsa oleh ilmuwan namun ditinggalkan lagi pada 1958.
Orang yang masuk ke Pulau Jarvis mewajibkan surat izin penggunaan khusus Perkhidmatan Perikanan dan Hidupan Liar AS dan secara umum dibatasi buat ilmuwan dan pendidik saja. Pulau ini dikunjungi tiap tahun oleh Perkhidmatan Perikanan dan Hidupan Liar AS dan Penjaga Pesisir AS. Tiada pelabuhan di sini, namun ada sedikit pelabuhan lepas pantai. Ada 1 daerah penyeberangan sekoci di tengah pesisir barat dan lainnya dekat pojok barat daya pulau. Mercu suar siang hari dekat di tengah pesisir barat.
Iklimnya tropika, dengan curah hujan kurang, berangin tetap, dan matahari yang hangat. Berbeza dari permukaan laut 7 meter, tanah lapangnya berpasir, dan pulau karangnya dikelilingi batu karang pinggiran yang sempit. Kejarangan serangkai rumput, tumbuhan yang lemah, dan semak belukar yang tumbuhnya lambat terutama persarangan, tenggeran, dan habitat makanan ternak buat burung laut, burung darat, dan hidupan laut. Pulau ini tidak memiliki mata air segar yang alami.
