Грубо говоря, создав index.php в нем.

<?php
echo "Hello World";
?>

<?

echo "Hello World";
?>

Верхняя часть работает нижняя нет.

Подскажите в чем проблема может быть.

OC centos6-x86_64
PHP версия: 5.3.3

short_tags
а по сути
<?php а не <?

Хорошо что вы знаете, я например вот не знал этого нюанса.
Где капать отключение или включение short_tags?

по идее не нужно их трогать) так как потом будут проблемы с обновлением

есть 2 правильных способоа

<?php ?>
и <?= ;?>

первый для кода, второй для вывода значений аналогичный
<?php echo $var; ?> можно записать как <?=$var;?>

и не более

Печально, хочу установить скрипт, ничего не получается, даже язык не включается

Ошибка на стороне сервера имеем место быть?