Я мог бы вытащить 25 вопрос случайных и всё, но с каждым вопросом, вопрос усложняется и мне нада сначал случаный1 потом 2 3 4 5 ...25

Она групирует, но не генерирует их)

Может быть всё же ORDER BY ?

SELECT * ... GROUP BY ... это сюрр.

GROUP BY `num` ORDER BY RAND() LIMIT 25
Она теперь генерирует, но берет только первые 25 и их менят местами.

Обычно GROUP BY пишут раньше ORDER BY.
В любом случае GROUP BY выполняется раньше ORDER BY.

Но... что она даст?

GROUP BY X означает, что в SQL-результате следует оставить лишь по одной строке на каждое значение X (и при этом в нормальных СУБД требуется, чтобы в SELECT-списке никакие другие поля кроме X в чистом виде не фигурировали - иначе возникнет неопределенность - "из какой именно строки (если их несколько с одним X) выбирать поле?". Другие поля можно использовать лишь в агрегатных функциях, вроде MIN(), SUM() и т.п.)
СУБД MySQL в стандартных настройках менее придирчива к смыслу, и позволяет такие поля указывать. Что она выберет в качестве значения для каждого из полей - непредсказуемо.

Если вернуться к вопросу топикстартера, то тут, конечно, всё становится еще более запутанным.
Мне, например, до сих пор неясно, что это за num, может ли он повторяться, и что вообще с ним делать. Но тут уж...

только нужно запрос перед циклом поставить

$res = mysql_query("SELECT * FROM `test` 
                                    WHERE `num`= '".$i."' 
                                        ORDER BY RAND() 
                                            GROUP BY `num`
                                                LIMIT 25") or die(mysql_error());

while($r = mysql_fetch_assoc($res)) 
{

       
       ?>
            
            <p><?php echo $r['quest']; ?></p><br />
            <input type="radio" name="ans<?php echo $i; ?>" value="a"/> A) <?php echo $r['a']; ?><br />
            <input type="radio" name="ans<?php echo $i; ?>" value="b"/> B) <?php echo $r['b']; ?><br />
            <input type="radio" name="ans<?php echo $i; ?>" value="c"/> C) <?php echo $r['c']; ?><br />
            <input type="radio" name="ans<?php echo $i; ?>" value="d"/> D) <?php echo $r['d']; ?><br />
            <input type="radio" name="ans<?php echo $i; ?>" value="e"/> E) <?php echo $r['e']; ?><br />
            
       <?php
    }

это число вопроса по сложнасти.

Тогда, как ни странно Ваш самый первый вариант - оптимальный.
Вот только, и вправду, стоит ли выводить все вопросы скопом на одну страницу?

очень сомневаюсь что так делается на многих сервисах... а если 50 вопросов, то 50 страниц с запросами?

Да можно по отдельности сделать, через гет.