Op 1 september 1931 gaf de heer M.C. Korteweg de eerste stoot om tot oprichting van een voetbalvereniging op "Jaffa" te geraken. Jaffa, als in Machinefabriek Jaffa (in het heden beter bekend als Stork Jaffa).
De animo bleek groot en zo ontstond de U.K.V.V. Jaffa. Het eerste bestuur bestond uit de heren Van Amstel (voorzitter), Korteweg (secretaris) en Van Doorn (penningmeester). In maart 1932 volgde aansluiting van de Utrechtse Kantoor Voetbalbond (UKVB). Als clubkleuren werd gekozen voor een rood-wit shirt en een zwarte broek (de Feyenoord-kleding). Het eerste speelterrein was het veld van St. Joseph aan de Inundatiekade.
Het boterde niet zo erg in het eerste, jonge bestuur en om uit de ontstane impasse te geraken nam op 21 november 1932 de heer Gort de voorzittershamer over.
Op 15 februari 1933 verscheen ons eerste eigen clubblad, genaamd "Rood-Wit" en werd een begin gemaakt met de bekende jaarlijkse wedstrijd "Administratie tegen Tekenkamer" terwijl in 1934 de bekende "Jaffa-Cup" werd ingesteld. Dit zou nog jaren een begrip blijven.
Binnen de UKVB werd besloten om de competities ingaande het seizoen 1933-1934 op zaterdagmiddag te spelen. Dit had tot gevolg dat wij moesten verhuizen naar Bilthoven (terrein NSU). Nog ditzelfde seizoen verhuisen wij weer. Nu naar de Lage Weide, waar wij bij UVV onderdak vonden.
In juli 1934 werd F. Heusden de eerste trainer bij VVJ. In 1935 veranderden wij tweemaal van terrein. In februari bespeelden wij het NASB-terrein aan de Lage Weide en vanaf juni het veld van Minerva aan de Inundatiekade. Ook werd een aanvang gemaakt de (lange jaren volgehouden) wedstrijdenreeks tegen E.R.V.E.A. (Raad van Arbeid) te Amsterdam. Op 7 oktober 1935 werd een 2e elftal opgericht. In 1936 verhuisden wij weer eens, nu naar Welgelegen.
3 juli 1939 werd voor het huidige V.V.J. van zeer groot belang. Naast de U.K.V.V. Jaffa, zag V.V.J. (Voetbalvereniging Jaffa) het leven. Wij hadden toen een fabriekselftal Jaffa en een kantoorelftal Jaffa. Voor de huidige tijd haast ongeloofwaardig. Het eerste bestuur van V.V.J. bestond uit de heren Van Bennekom, Van Doorn, Feeburg, Geitenbeek, Kok, Leeman en Vos. De contributie bedroeg 10 cent per week. Als naam werd gekozen Voetbalvereniging Jaffa (V.V.J.). De kleding bestond uit een blauw shirt en een witte broek.
Door het uitbreken van de tweede wereldoorlog en de daarmee verband houdende mobilisatie moest het tweede elftal uit de competitie worden teruggetrokken. Ook kwam door een fusie van alle voetbalbonden eind aan de competitie voor kantoorpersoneel.
Op 3 september 1943 werd in een gecombineerde ledenvergadering de fusie tussen de beide Jaffa's een feit. Als naam werd gekozen V.V.J. (Voetbalvereniging Jaffa) en als oprichtingsdatum werd 1 september 1931 aangehouden. Kleding: blauw shirt en witte broek. Besloten werd destijds om zowel op zaterdag als op zondag te gaan spelen. Echter op de ledenvergadering van 19 juni 1947 werd besloten om uitsluitend als zaterdagvereniging verder te gaan. 1947 was een bijzonder jaar, toen werd ons eerste eigen terrein in de Johannapolder officieel geopend. Op 4 februari 1948 werd de heer H. Verbeek voorzitter, de ouderen zullen hem zeker nog kennen. In september 1949 kwam J. van Oostveen in het bestuur, de vader van onze huidige secretaris, Joke Camu.
Jaren van wisselende successen volgden, er werd gedegradeerd en weer gepromoveerd. Per 1 mei 1957 verhuisde geheel V.V.J. naar het oude veld aan de Prof. Club Utrecht aan de Jutfaseweg om dit veld samen met R.U.C. te gaan bespelen.
Op 4 januari 1960 werd V.V.J. bij Koninklijk Besluit goedgekeurd.
In 1960 moesten wij weer verhuizen, aan de samenwerking met RUC was een eind gekomen en ons werd de huur opgezegd. Dankzij de medewerking van Ultrajectum en de directie van Werkspoor kregen wij de beschikking over het terrein aan de Cartesiusweg.
In 1961 gingen we weer verhuizen en kregen we de beschikking over een gemeentelijk sportterrein aan de Zuilenselaan, waar achter het Elinkwijkveld wij de bespeler werden van het knusse veld, waar menig gezellig uurtje zou worden doorgebracht. Het veld werd gedeeld met de handbalvereniging Sport Vereent, dat op zondag over het veld kon beschikken.
Het jaar 1967/1968 werd één van de belangrijkste jaren uit ons verenigingsleven. Wij kregen naast het veld op de Zuilenselaan een tweede veld toegewezen op het nieuwe sportcomplex Overvecht. Met groot enthousiasme ging men aan het werk om de jeugdafdeling gestalte te geven. Al heel snel waren er 15 jeugdleden en konden er vele wedstrijden worden gespeeld. Besloten werd om met de eerste 3 elftallen en de jeugd op Overvecht te gaan spelen en de elftallen 4, 5 en 6 bleven voorlopig op de Zuilenselaan. Een historisch gebeuren was de start van het seizoen 1968-1969. Door een toewijzing van een tweede veld op het sportcomplex Overvecht konden wij het knusse veld aan de Zuilenselaan verlaten en hadden wij eindelijk, na 37 jaar, een eigen home. Samen met onze vrienden van Stichtse Boys en U.H.S.V., die beide ook bespelers waren om Complex I, werd er hard gewerkt. Spoedig stond er een pracht van een clubhuis met een deelname van St. Boys van 78% en VVJ en UHSV ieder voor 11%. Ook het trainingsveld werd van verlichting voorzien en er kwamen tenslotte ook nog warme douches, zij het voor een gedeelte.
Vanaf dit moment werd er ook veel gesproken over de bouw van een eigen paviljoen en op 30 november 1977 kreeg het bestuur groen licht om samen met UHSV een eigen paviljoen te gaan bouwen. Op 11 januari 1980 was het het dan zover. De eerste paal hiervoor wordt geslagen. Na een dik half jaar bouwen kon op 30 augustus het nieuwe clubhuis aan het volk getoond worden.