Проиндексировать таблицу, и будет искать быстрее.
Но и памяти потребует больше для многопользовательского режима. И добавление в проиндексированную таблицу новой записи будет в разы медленнее чем перезапись файла.

Все зависит от потребностей. Если нужно один раз найти и забыть, то файлы пойдут, а если нужны постоянные выборки, то без вариантов - БД, причем с увеличенным размером памяти (как уже сказал FatCat). Файлы в последнем случае не вариант - постоянные операции чтения убьют диск быстро.

FatCat ,kirik, спасибо

с базой данных определился, но как лучше разметить в бд записи,чтобы быстрее добавлялось и извлекалось


1 таблица и в ней 10 млн записей

или

пол сотни таблиц по 200 000 в каждой?

leray
Опять же все зависит от потребностей Но таблица может быть одна (кроме особых случаев).
Если тебе нужно вести таблицу-лог (тоесть данные будут добавляться намного чаще, чем выбираться), то создавай таблицу без индексных полей, а если будешь выбирать чаще чем добавлять, то поставь нужные индексы.
Если таблица будет постоянно изменяться, то юзай InnoDB движок, если нет - MyISAM.
Тонкостей довольно много, скажи чего делаешь, тебе подскажут советом

дело в том, что добававляться записи будут по несколько сотен в минуту, а выбираться по необходимости от 100 до 10 000 за раз, поэтому хочется, чтобы и записывалось быстро и выдавало шустро)

я к тому, что если сравнивать время,затраченное на

выборку 10 000 из 10млн(проиндексированных) в 1 таблице
и
выборку 10 000 из 200 000 (проиндексированных) но в нескольких таблицах

каждый запрос - выборка делается конкретно из 1 таблицы

выборка из таблицы с меньшим кол-во ведь будет быстрее?

первый вариант будет быстрее, но будет больше требоваться памяти.

А почему не будет? может человек хороший программист но не когда на сталкивался с таким большим обьёмом информации, поэтому консультируется, он же спрашивает как это сделать.

Есть вероятность, что:

Хотя нет!
Пока у меня файлы быстрее!
На одном только тесте, пока файлы проиграли, хотя это скорее всего не файлы а мой скрипт работы с файлами проиграл MySQL . Но это пока.

У меня есть таблица с 2,5 милионнами записей, выбирает по ней шустро, но весит она около 300 мег.

glober - а ты "в курсе", что много восклицательных знаков воспринимается как крик? Поэтому вопрос: и чего было так шуметь?

Хорошо, код сейчас будет.
Сначала напишу маленькую, историю:
Однажды, примерно полтора года назад, задумал я сделать систему мониторинга технологического оборудования, не ради праздного любопытства, а для работы.
Тогда о PHP и MySQL я только слышал, так я и не сам хотел все это программировать. Т.к. ничего в этом не понимал. Тогда еще у меня сайт был у одной известной и уважаемой в нашем городе веб студии на хостинге. Я с этой идеей пошел к ним же. Довольно долго все это обсуждали, затем они долго думали, в конечном итоге они отказались. Одна из основных причин бала озвучена такая: типа для MySQL с которым они работают количество записей в 25 000 уже критично! Со мной беседовал их программист и объяснил, что когда количество новостей на их сайте достигло 25 000 штук, при выборке весь "сервак" на мгновение подвисал! А у меня планировалось значительно больше записей в БД.
Затем этот проект я отложил, а сейчас вообще кризис и денег на его воплощение нет.
Ради любопытства стал "ковырять" PHP и MySQL. Так, что не претендую на полную правильность моих скриптов, если будет дельный совет приму с благодарностью.

Теперь долгожданный код выборки инфы из БД:

               $res=mysql_query("select * from `jjo_test` ");

               while($row=mysql_fetch_array($res))
           {
             $_pr=$row['info'];
             if (45000 < $_pr && $_pr  < 45005 ) $rez.=$row['id'].'|'.$row['date'].'|'.$row['time'].'|'.$_pr.'<br/>';
           }

Таблица была создана так:

mysql_query("CREATE TABLE IF NOT EXISTS `jjo_test` (
  `id` mediumint(6) NOT NULL auto_increment,
  `date` char(8) NOT NULL,
  `time` char(8) NOT NULL,
  `info` char(8) NOT NULL,
  PRIMARY KEY  (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=utf8  ;");

А после заполнения таблици, в PhpMyAdmin проиндексировал `info`.

Что, я сделал не так? Все это на localhost, на нормальном сервере конечно будет быстрее работать.

$res=mysql_query("select * from `jjo_test` where `info`>45000 and `info`<45005");

0.427 сек.
Конечно это не доли секунд но очень быстро!
Делаем вывод: учитесь составлять правильные запросы к БД и не только.
Спасибо.

Привет, это вновь я.

Есть еще вопрос по скорости работы MySQL и файловой системы:
Новый тест. Беру шаблон и вставляю в него с помощью php контент.

Вариант 1. (Контент вставляю из файла.)

9,74 кб - 0,0002 - 0,0004 сек.
147 кб - 0,0004 - 0,0006 сек.

Вариант 2. (Контент вставляю из БД.)

9,74 кб - 0,0006 - 0,0015 сек.
147 кб - 0,0015 - 0,005 сек.

Другими словами, вставка контента из БД до 10 раз медленнее, чем из файла!
И, чем больше размер контента, тем заметнее разница.

При всем при этом само подключение к БД занимает от 0,0014 до 0,05 сек.
Это время не учитывалось в эксперименте, но это тоже значительно увеличивает время "извлечения" контента из БД.

Что скажете?

Скажем, что опять неправильный тест. В первом тесте кстати, если добавить индекс на info, то выборка будет раз в 10-100 быстрее.

Сабж: конкретные данные давай.

Создаем такую вот таблицу:

mysql_query("CREATE TABLE IF NOT EXISTS `j5_content` (
  `id` mediumint(6) NOT NULL auto_increment,
  `link`  	tinytext NOT NULL,
  `content` longtext NOT NULL,
  PRIMARY KEY  (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=utf8  ;");

Далее "отлавливаем" "линки":

if($_GET['link']) {
$link=$_GET['link'];
	
if (strpos($link, "html")) { /* Проверяем если в линке есть ".html" берем из файла*/
  
$_url='data/'.$link; /* эти файлы лежат в папке data */

$ContPages=trim(file_get_contents($_url)); /* достаем из файла, "обрезаем конци", присваеваем значение переменной */

	} else { /* Иначе, если линк заканчивается на ".sql" берем из БД */

$res=mysql_query("select * from `j5_content` where link='$link'");
$row=mysql_fetch_array($res);
$ContPages=$row['content'];

}
}
/* Выводим в браузер */

echo $ContPages;

Надо заметить, что .htaccess перенаправляет все запросы на index.php, и переменной 'link' присваевает значения url.

Что ж, если для хранения всех текстов используется не один файл, а для каждой отдельный, то результат неплох. В случае с полями типа text, файлы при правильном использовании могут дать большой выигрыш. Здесь оно в принципе правильное.

У меня вопрос: если в некоторых случаях, типа данного, работа с файлами оказывается значительно быстрее, чем с БД, может стоит в таких случаях использовать файлы?

Я и экспериментами занялся только для того, что бы определиться с выбором файлы или БД. Теперь я думаю, что и то и другое, в зависимости от задачи.
А, что скажете ВЫ?