Sršeň žltkavý nie je útočný, iba sa pri napadnutí alebo podráždení bráni bodnutím. Hniezda zavesené na vetvách môžu budiť obavy, v skutočnosti však nie sú tak nebezpečné. Sršne dráždi, keď im človek strieka vodu, alebo inú látku do hniezda, bráni im vo výlete, alebo ich provokuje blýskaním rôznych predmetom - zrkadlami, okuliarmi, sklom, vreckovým osvetľovačom, či bleskom fotoaparátu. Sršne sa najskôr pokúšajú nepriateľa zastrašiť rýchlym a krúživým nalietávaním pre zrak len ťažko sledovateľným. Ak je zastrašovanie votrelca neúčinné, dôjde na žihadlá. Zostáva doposiaľ nevysvetlené, prečo sa cieľom žihadiel sršňov najčastejšie stáva koreň palca. Sršne dráždi k útoku tiež pach ľudského potu. Sršne sú dravci a ich častou korisťou sa stávajú včely. Z hospodárskeho hľadiska sa preto javia ako škodcovia. Zdrojom potravy sú však pre ne i sladké rastlinné šťavy. Významným konkurentom a prirodzeným nepriateľom sršňa žltkavého je rodovo príbuzný sršeň mandarínsky. Boje medzi hniezdami trvajú aj jeden až dva dni. Často sa zdá, že navrch majú sršne žltkavé. Potom ale nastáva zvrat a hniezdo premôžu sršne mandarínske. Vyplienia ho podobne ako včelí úľ.