KVM - виртуализация на уровне гипервизора.
OpenVZ (как и VMware, VirtualBox и т.п) - виртуализация на уровне операционной системы.
Главное отличие между ними - на OpenVZ ресурсы между виртуальными машинами перераспределяются динамически, в зависимости от нагрузки, это даёт возможность хостерам заниматься оверселингом, потому эти тарифные планы и стоят дешевле. На KVM же ресурсы распределены статично, и не могут изменятся, если тебе отрезали 4Гб оперативы, значит оно так и есть, и этот объём тебе доступен в любое время, а не только при слабой загрузке соседних машин. Здесь можно провести аналогия с провайдерами, и их тарифами с гарантированной / не гарантированной скоростью.
Второй нюанс, если планируешь поднимать openvpn, понадобятся интерфейсы
tun/tap на KVM они доступны всегда, на OpenVZ по умолчанию отключены обычно, для их активации придётся обращаться в техподдержку (если правила хостера не запрещают vpn).
Преимущество OpenVZ только в лёгкой смене тарифного плана, на KVM это будет означать физический переезд на другую виртуальную машину.