Poor Performance With Dom0 On CentOS7

Home » CentOS-Virt » Poor Performance With Dom0 On CentOS7
CentOS-Virt 6 Comments

Hi All

it is possible to tune dom0/domU for better IO/network performance?
Since I have changed to Cenots7 dom0, I have a really poor IO
performance inside a PV VM.

I have already done what is described on http://wiki.xenproject.org/wiki/Tuning_Xen_for_Performance It is better now but still significantly worse than with CentOS6 dom0

my settings:

xen parameter: dom0_mem24M cpufreq=xen dom0_max_vcpus=2
dom0_vcpus_pin

xl sched-credit Cpupool Pool-0: tslice0ms ratelimit00us Name ID Weight Cap Domain-0 0 1024 0
samael 1 256 0
satan 2 512 0
amon 3 256 0
leviathan 4 512 0

echo 1048576 > /proc/sys/net/ipv4/tcp_limit_output_bytes on dom0

the both domU’s satan and leviathan are very IO performance oriented
(NFS server and downloading vm)

Is there something more what I can do or try?

could it be a selinux issue? I have it in permissive mode there, not disabled. But permissive means only to collect the info not enforcing the rules…

(I use the xen45 pkgs)

6 thoughts on - Poor Performance With Dom0 On CentOS7

  • Hello,

    You forgot to mention the most important thing.. what kind of performance numbers are you seeing? What are you expecting?

    Thanks,

    — Pasi

  • Hi

    Im now pretty sure the problem is the DomU with NFS Server.

    If I write on a NFS share from other Host (bare metal or other vm) then I see on my NFS server nearly the whole time 100% io at [jbd2/dm-5-8]
    process… If I write on a SMB share (same partition as nfs share) from other Host then it is a little bit better but still ever and ever again 100% io load

    If I write a 1GB file on the same partition (with nfs/samba share) with dd, I dont see the high io load…

    Is there a known problem with nfs/smb shares and/or dm in xen domU’s on CentOS 7 as dom0? With CentOS 6 as dom0 I didnt had the problem…
    (the partition with the shares is a raid5 software partition, soft raid is build in dom0 and as a xvd device passed through to the domU with the shares)

    could selinux be the problem? I have it in permissive mode on all hosts here (dom0 and domU) not disabled…

    Any hints for me?

    Am 2015-09-01 06:47, schrieb Christoph:

  • Hi,

    Are you using nfs over UDP or TCP ?

    I don’t think.

    If you used NFS over UDP, try running it over TCP.

    What does ‘top’ and/or ‘iostat -x 1’ say during the ‘benchmark’ ?

    — Pasi

  • Am 2015-09-17 09:29, schrieb Pasi Kärkkäinen:

    TCP, but Network cant be the bottleneck, have tested it with iperf between bare metal/domU’s and the nfs domU and it was perfectly fast…

    no I use it over TCP…

    top:

    top – 09:01:12 up 22:45, 1 user, load average: 1,97, 2,01, 1,99
    Tasks: 210 total, 1 running, 209 sleeping, 0 stopped, 0 zombie
    %Cpu0 : 0,3 us, 1,0 sy, 0,0 ni, 91,4 id, 7,3 wa, 0,0 hi, 0,0 si,
    0,0 st
    %Cpu1 : 0,0 us, 0,0 sy, 0,0 ni,100,0 id, 0,0 wa, 0,0 hi, 0,0 si,
    0,0 st
    %Cpu2 : 0,0 us, 0,0 sy, 0,0 ni,100,0 id, 0,0 wa, 0,0 hi, 0,0 si,
    0,0 st
    %Cpu3 : 0,0 us, 0,3 sy, 0,0 ni, 13,0 id, 86,7 wa, 0,0 hi, 0,0 si,
    0,0 st KiB Mem : 1013016 total, 19548 free, 591456 used, 402012
    buff/cache KiB Swap: 1048572 total, 990776 free, 57796 used. 353468 avail Mem

    iostat:

    avg-cpu: %user %nice %system %iowait %steal %idle
    0,00 0,00 0,00 50,00 0,00 50,00

    Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util xvda 0,00 0,00 0,00 0,00 0,00 0,00
    0,00 0,00 0,00 0,00 0,00 0,00 0,00
    xvdb 0,00 0,00 0,00 0,00 0,00 0,00
    0,00 0,00 0,00 0,00 0,00 0,00 0,00
    xvdc 0,00 0,00 0,00 0,00 0,00 0,00
    0,00 0,00 0,00 0,00 0,00 0,00 0,00
    xvdd 0,00 0,00 0,00 26,00 0,00 2336,00
    179,69 69,31 1060,62 0,00 1060,62 38,46 100,00
    xvde 0,00 0,00 0,00 0,00 0,00 0,00
    0,00 0,00 0,00 0,00 0,00 0,00 0,00
    xvdf 0,00 0,00 0,00 0,00 0,00 0,00
    0,00 0,00 0,00 0,00 0,00 0,00 0,00
    xvdg 0,00 0,00 0,00 0,00 0,00 0,00
    0,00 0,00 0,00 0,00 0,00 0,00 0,00
    xvdh 0,00 0,00 0,00 0,00 0,00 0,00
    0,00 0,00 0,00 0,00 0,00 0,00 0,00
    xvdi 0,00 0,00 0,00 0,00 0,00 0,00
    0,00 0,00 0,00 0,00 0,00 0,00 0,00
    xvdj 0,00 0,00 0,00 0,00 0,00 0,00
    0,00 0,00 0,00 0,00 0,00 0,00 0,00
    dm-0 0,00 0,00 0,00 0,00 0,00 0,00
    0,00 0,00 0,00 0,00 0,00 0,00 0,00
    dm-1 0,00 0,00 0,00 0,00 0,00 0,00
    0,00 0,00 0,00 0,00 0,00 0,00 0,00
    dm-2 0,00 0,00 0,00 0,00 0,00 0,00
    0,00 0,00 0,00 0,00 0,00 0,00 0,00
    dm-3 0,00 0,00 0,00 0,00 0,00 0,00
    0,00 0,00 0,00 0,00 0,00 0,00 0,00
    dm-4 0,00 0,00 0,00 0,00 0,00 0,00
    0,00 0,00 0,00 0,00 0,00 0,00 0,00
    dm-5 0,00 0,00 0,00 0,00 0,00 0,00
    0,00 69,31 0,00 0,00 0,00 0,00 100,00
    dm-6 0,00 0,00 0,00 0,00 0,00 0,00
    0,00 0,00 0,00 0,00 0,00 0,00 0,00

    so not really a problem…

    —
    ——
    Greetz

  • run mount -v on your old system and on the new system. Look for differences in the NFS mounts.

    —
    Alvin Starr || voice: (905)513-7688
    Netvel Inc. || Cell: (416)806-0133
    alvin@netvel.net ||