Frasen opstod hos tjenestegørende i USA's hær under 2. verdenskrig, som tegnede krussedullen og teksten "Kilroy was here" på vægge andre steder, hvor de var stationeret. Brewer's Dictionary of Phrase and Fable anfører, at den især blev forbundet med Luftfragtkommandoen i hvert fald i Storbritanien.

Medens sloganets oprindelse er uvis, er tegningens oprindelse bedre kendt. Det er næsten sikkert, at den opstod som Chad i Storbritanien før 2. verdenskrig. Det var en af tegneseriemageren George Edward Chatterton's kreationer. Formentlig smeltede de sammen i 1940'erne under den store tilstrømning af amerikanere til Storbritanien. Chad tegneserien var meget populær og kunne findes overalt i Storbritanien med sloganet "Hvadbehager, ingen ....?" eller "Hva, ingen....?" underneden, som en kommentar til en mangelsituation eller rationering. (Den blev blandt andet set på siden af et svævefly tilhørende den britiske 1. luftbårne division med den beklagende tekst: "Hva, ingen motor?"

En teori identificerer James J. Kilroy, en amerikansk skibsværftsinspektør, som manden bag signaturen. Under 2. verdenskrig arbejde han hos Bethlehem Steel skibsvæftet i Quincy, Massachusetts, hvor han hævdede at have bruge sætningen til at markere de nitter, han havde kontrolleret. De skibsbyggere, hvis nitning han havde kontrolleret, fik betaling efter, hvor mange nitninger de havde foretaget. De opdagede, at de kunne fjerne hans kridtmærker og fik så dobbelt betaling. James J. Kilroy gik derefter over til at bruge en gul farvekridt, som var sværere at fjerne og fik på den mådet stoppet snyderiet. På den tid blev skibene taget i brug uden at de var blevet malet overalt. Så når aflukkede steder blev åbnet for vedligeholdelse fandt sømænd og soldater det mærkelige navn skrevet. Tusinder af tjenestegørende har haft mulighed for at se hans slogan og Kilroys allestedsnærværelse og uigennemskuelighed kan have startet legenden. Derefter kan de tjenstegørende have begyndt, selv at skrive sloganet forskellige steder og især på nyerobrede steder. På et senere tidspunkt er grafittien (Chad) og sloganet (Kilroy Was here) så blevet forbundet(Michael Quinion. 3 April 1999.[1])

Forfatteren Charles Panati siger: "Det skeptiske ansigt og frasen blev en national spøg". Han fortsatte: "Det frække ved grafittien var ikke så meget, hvad den sagde, som hvor den viste sig".

Kilroy blev den mest populære af sin type såvel under 2. verdenskrig som idag. Clem (i Canada), Overby (Los Angeles i sen'60erne), Chad og Mr. Foo (begge Storbritanien under 2. verdenskrig) nåede aldrig samme popularitet som Kilroy. Den store Kilroygrafittidille ophørte i 1950'erne, men selv idag skriver folk over hele verden "Kilroy was here" på skoler, tog og lignende offentlige steder.

New York Times rapporterede dette som oprindelsen i 1946 med den tilføjelse, at Kilroy havde mærket selve skibene, medens de blev bygget, så på et senere tidspunkt ville frasen blive fundet, skrevet på steder, som ingen grafittikunstner ville være i stand til at nå (indeni hulrum i skroget for eksempel). Dette nærede den mystiske betydning af frasen, for når Kilroy kunne efterlade sit mærke der, hvad ville han så ikke være stand til at gøre?