Kannst du mal die Verbindung zum Router "unendlich" anpingen während du testest? Wenn du die Adresse nicht weißt, ein CMD öffnen (brauchst du später sowieso) und das Kommando
ipconfig
eingeben. Einer von vermutlich mehreren Einträge wird etwa so aussehen:

Dort brauchst du die Adresse hinter Default Gateway. Die wird vermutlich 192.168.0.1 oder 192.168.1.1 sein. Dann setzt du im gleichen Fenster das Kommando
ping -t <adresse>
ab, wobei du <adresse> durch die Adresse des Routers ersetzt. Dann testen, und sobald der Fehler auftritt das Fenster nach vorne holen, mit STRG+C stoppen und schauen, ob das Problem dort reflektiert wird. Dann sieht man schon mal, ob das Problem auf der Strecke zwischen deinem Computer und dem Router auftaucht.