Проверил.
Скрипт такой, тестировался на локальном хосте:
Если берем строку в виде $s = "Name is '$name'"; , то получаем следующий результат (5 запусков скрипта):
0.7922 seconds
0.8297 seconds
0.7185 seconds
0.6915 seconds
0.6982 seconds
Ежели по-другому, вот так написать $s = 'Name is \''.$name.'\'';, то время получается немного поменьше (тоже 5 раз запускал).
0.6098 seconds
0.614 seconds
0.6194 seconds
0.6395 seconds
0.6155 seconds
Разница настолько незначительная (на мой взгляд), что я даже "париться" не буду

К тому же, использование запятой для конкатенации возможно не везде. Например, в моем примере нельзя использовать запятую.
PS. Кстати. Ты хоть и говоришь, что лучше через запятую, но использовал точку (в конце в echo

).