<?php 
include "config.php";
error_reporting(E_ALL);
$count =mysql_query("SELECT COUNT(*) FROM `tasks`"); 
$count = mysql_fetch_array($count); 
$count = $count[0]; 
$id=rand(1,$count); 
$result=mysql_query("SELECT * FROM `tasks` WHERE `id`=$id"); 
$result=mysql_fetch_assoc($result);


if (isset($_POST['ansbutt'], $_POST['answer'])) { 
    $answer = trim($_POST['answer']);
        if ($answer === $result['result']) {
        echo "nice"; 
    }
}
?>

Тебе ведь нужно что бы правильный ответ проверял так ведь? Тогда зачем ты выбираешь случайный элемент по ID из базы? Надо проверять не так, а так:

// ...
$answer = isset($_POST['answer']) ? addslashes($_POST['answer']) : '';

$result = mysql_query("SELECT * FROM tasks WHERE result=$answer"); 
$rightAnswer = mysql_num_rows($result) > 0;

if ($rightAnswer) {
    echo 'nice!';
}

Я правильно задачу понял?
Если $rightAnswer будет true, следовательно и ответ будет верным.

_____________
Мой блог