Spitzen, Aussetzer und Performance-Probleme zur bestimmten Uhrzeit

Hallo,

wir haben ein ESXi Cluster (V4.1) mit 3 Hosts (DL 380G7). Das vCenter ist als eigene VM innerhalb des Clusters aktiv. Als SAN steht eine MSA von HP dahinter. Die Anbindung an das SAN ist per FC und jeweils an verschiedenen Controllern über Kreuz zur Ausfallsicherheit angebunden.

Jetzt kommen wir zu den Problemen:

• täglich 12:00 Uhr Mittags haben wir auf allen ESXi Hosts eine erhöhte Festplatten-, Netzwerk- und CPU-Auslastung:
  

Hier zu sehen die dazugehörigen Hosts:

Auch gut zu sehen, hier bricht einfach die CPU und RAM-Grafik um 12:00 Uhr weg:

Außerdem ist im vCenter unter den Logs folgendes zu erkennen:

[2013-01-23 12:01:05.547 03804 warning 'ProxySvc Req61317'] Error reading from client while waiting for header: class Vmacore::SystemException(Der angegebene Netzwerkname ist nicht mehr verfügbar. )
[2013-01-23 12:01:06.673 04424 warning 'VpxProfiler' opID=HB-host-122@1281] [VpxdHostSync] DoHostSync:000000000738CAB0 took 2014 ms
[2013-01-23 12:01:06.673 04424 warning 'VpxProfiler' opID=HB-host-122@1281] InvtHostSyncLRO::StartWork took 2014 ms
[2013-01-23 12:01:07.487 04248 warning 'ProxySvc Req61318'] Error reading from client while waiting for header: class Vmacore::SystemException(Der angegebene Netzwerkname ist nicht mehr verfügbar. )
[2013-01-23 12:01:15.073 01256 error 'App' opID=09967A5D-000015E7] Connection lost while waiting for the next request on stream TCPStreamWin32(socket=TCP(fd=5148) local=127.0.0.1:8085,  peer=127.0.0.1:56790): class Vmacore::SystemException(Eine bestehende Verbindung wurde softwaregesteuert durch den Hostcomputer abgebrochen. )
[2013-01-23 12:01:34.057 03724 warning 'ProxySvc Req61327'] Error reading from client while waiting for header: class Vmacore::SystemException(Der angegebene Netzwerkname ist nicht mehr verfügbar. )
[2013-01-23 12:01:35.952 03900 warning 'ProxySvc Req61328'] Error reading from client while waiting for header: class Vmacore::SystemException(Der angegebene Netzwerkname ist nicht mehr verfügbar. )
[2013-01-23 12:01:36.493 01076 warning 'ProxySvc Req61329'] Error reading from client while waiting for header: class Vmacore::SystemException(Der angegebene Netzwerkname ist nicht mehr verfügbar. )
[2013-01-23 12:01:39.057 04248 warning 'ProxySvc Req61330'] Error reading from client while waiting for header: class Vmacore::SystemException(Der angegebene Netzwerkname ist nicht mehr verfügbar. )
[2013-01-23 12:02:02.964 02532 warning 'VpxdMoLock' opID=HB-host-77@193024] ***WARNING*** Lock group-v3 mode EXCLUSIVE held for 1362 ms
[2013-01-23 12:02:02.964 02532 warning 'VpxdMoLock' opID=HB-host-77@193024] ***WARNING*** Lock group-v3 mode EXCLUSIVE held for 1362 ms
[2013-01-23 12:02:02.964 02532 warning 'VpxdMoLock' opID=HB-host-77@193024] ***WARNING*** Lock domain-s75 mode EXCLUSIVE held for 1362 ms
[2013-01-23 12:02:02.964 02532 warning 'VpxdMoLock' opID=HB-host-77@193024] ***WARNING*** Lock host-77 mode EXCLUSIVE held for 1363 ms
[2013-01-23 12:02:02.965 02532 warning 'VpxdMoLock' opID=HB-host-77@193024] ***WARNING*** Lock vm-99 mode EXCLUSIVE held for 1363 ms
[2013-01-23 12:02:06.580 01076 warning 'VpxProfiler' opID=HB-host-78@72350] [VpxdHostSync] DoHostSync:0000000007389230 took 2055 ms
[2013-01-23 12:02:06.581 01076 warning 'VpxProfiler' opID=HB-host-78@72350] InvtHostSyncLRO::StartWork took 2056 ms
[2013-01-23 12:02:16.832 03764 warning 'VpxdMoLock' opID=HB-host-78@72351] ***WARNING*** Lock domain-c7 mode SHARE held for 1124 ms
[2013-01-23 12:02:16.832 03764 warning 'VpxdMoLock' opID=HB-host-78@72351] ***WARNING*** Lock host-78 mode EXCLUSIVE held for 1124 ms
[2013-01-23 12:02:16.832 03764 warning 'VpxdMoLock' opID=HB-host-78@72351] ***WARNING*** Lock vm-72 mode EXCLUSIVE held for 1124 ms
[2013-01-23 12:02:16.834 04264 warning 'VpxdMoLock' opID=task-internal-1-280fba75-b8] Locking domain-c7 in mode: EXCLUSIVE took 1122 ms
[2013-01-23 12:02:16.836 04264 warning 'VpxProfiler' opID=task-internal-1-280fba75-b8] Time taken for DRS region took 2053 ms
[2013-01-23 12:02:16.836 04264 warning 'VpxProfiler' opID=task-internal-1-280fba75-b8] Time taken for DRS region took 2054 ms
[2013-01-23 12:02:17.043 03764 warning 'VpxProfiler' opID=HB-host-78@72351] [VpxdHostSync] DoHostSync:0000000007389230 took 2517 ms
[2013-01-23 12:02:17.044 03764 warning 'VpxProfiler' opID=HB-host-78@72351] InvtHostSyncLRO::StartWork took 2518 ms
[2013-01-23 12:02:23.636 03732 warning 'VpxdMoLock' opID=HB-host-77@193025] ***WARNING*** Lock group-v3 mode EXCLUSIVE held for 1016 ms
[2013-01-23 12:02:23.636 03732 warning 'VpxdMoLock' opID=HB-host-77@193025] ***WARNING*** Lock group-v3 mode EXCLUSIVE held for 1016 ms
[2013-01-23 12:02:23.636 03732 warning 'VpxdMoLock' opID=HB-host-77@193025] ***WARNING*** Lock domain-s75 mode EXCLUSIVE held for 1016 ms
[2013-01-23 12:02:23.636 03732 warning 'VpxdMoLock' opID=HB-host-77@193025] ***WARNING*** Lock host-77 mode EXCLUSIVE held for 1016 ms
[2013-01-23 12:02:23.637 03732 warning 'VpxdMoLock' opID=HB-host-77@193025] ***WARNING*** Lock vm-2844 mode EXCLUSIVE held for 1016 ms
[2013-01-23 12:02:23.910 03732 warning 'VpxProfiler' opID=HB-host-77@193025] [VpxdHostSync] DoHostSync:00000000073875B0 took 2400 ms
[2013-01-23 12:02:23.910 03732 warning 'VpxProfiler' opID=HB-host-77@193025] InvtHostSyncLRO::StartWork took 2400 ms
[2013-01-23 12:02:26.885 03592 warning 'VpxdMoLock' opID=HB-host-78@72354] ***WARNING*** Lock domain-c7 mode SHARE held for 1221 ms
[2013-01-23 12:02:26.885 03592 warning 'VpxdMoLock' opID=HB-host-78@72354] ***WARNING*** Lock host-78 mode EXCLUSIVE held for 1221 ms
[2013-01-23 12:02:26.886 03592 warning 'VpxdMoLock' opID=HB-host-78@72354] ***WARNING*** Lock vm-6473 mode EXCLUSIVE held for 1222 ms
[2013-01-23 12:02:27.426 03592 warning 'VpxProfiler' opID=HB-host-78@72354] [VpxdHostSync] DoHostSync:0000000007389230 took 2895 ms
[2013-01-23 12:02:27.426 03592 warning 'VpxProfiler' opID=HB-host-78@72354] InvtHostSyncLRO::StartWork took 2895 ms
[2013-01-23 12:02:56.936 03900 warning 'VpxProfiler' opID=HB-host-122@1292] [VpxdHostSync] DoHostSync:000000000738CAB0 took 2125 ms
[2013-01-23 12:02:56.936 03900 warning 'VpxProfiler' opID=HB-host-122@1292] InvtHostSyncLRO::StartWork took 2125 ms
[2013-01-23 12:03:17.765 04264 warning 'VpxProfiler' opID=HB-host-78@72367] [VpxdHostSync] ProcessChanges host:xxxxx.xxxxxxx.local (111.1111.111.111) took 2152 ms
[2013-01-23 12:03:17.765 04264 warning 'VpxProfiler' opID=HB-host-78@72367] [VpxdHostSync] DoHostSync:0000000007389230 took 3225 ms
[2013-01-23 12:03:17.765 04264 warning 'VpxProfiler' opID=HB-host-78@72367] InvtHostSyncLRO::StartWork took 3226 ms
[2013-01-23 12:03:17.765 04260 warning 'VpxdMoLock' opID=HB-host-78@72367] Locking host-78 in mode: SHARE took 1754 ms
[2013-01-23 12:03:17.765 04260 warning 'VpxdMoLock' opID=HB-host-78@72367] ***WARNING*** Lock vm-436 mode SHARE held for 1754 ms
[2013-01-23 12:03:17.765 03152 warning 'VpxdMoLock'] Locking vm-436 in mode: EXCLUSIVE took 1129 ms

Probleme mit dem vCenter, wie man häufig zu den Meldungen aus dem Log findet, haben wir jedoch nicht.

Vorallem merkt man die Aussetzer beim Verzeichnis- und Dateizugriff auf den Fileserver, ebenfalls eine VM-Maschine unter einem der 3 ESXi-Host im Cluster. Wir haben den Fileserver auch schon mal auf einen andere ESXi-Host verschoben, ohne Erfolg.

Desweiteren haben wir einen der ESXi-Host neu gestartet, auch ohne Erfolg.

Vielen Dank im Voraus für eure Unterstützung.

Gruß

Markus