Det var i söndags som ett antal maskerade Helsingborgssupportrar attackerade spelaren Jordan Larsson när Helsingborg åkte ur allsvenskan efter förlusten mot Halmstad hemma.
– Jag tycker att det är bedrövligt att de inte kan bete sig när de går på fotboll, säger Ygeman i SVT Gomorron Sverige.
Inrikesministern vill se hårdare krav för arrangörerna med säkerheten.
Läs mer: Regeringsförslaget: 2 miljarder extra till svenska polisen
Man måste ställa krav på arrangörerna. De som rusar in på planen ska inte vara där, vakterna ska gripa dem och de ska få tillträdesförbud till arenorna, säger Ygeman.
Ministern vill se fler säkerhetspersonal på matcherna.
– Fler säkerhetspersonal behövs i en sådan här match, men det ska inte vara poliser.
Läs mer: Regeringen har fått nog – vill ha maskeringsförbud på fotbollsmatcher