да файл должен весь быть прочитан!!!!

вот открыли мы файл с помощью $file=file('путь до файла'), все же строки записались в массив, и если у меня было 7000 строк то в массиве стало 7000 элементов, по ним я ищу определенную строку.

Будет ли выгоднее разбить файл???

Прочтать весь файл и считать весь файл - не одно и то же.
Разбивать его не нужно, правильно Gabriel сказал. Нужно читать частями, что бы не забивать оперативку.

Как его читать частями??

Пример из мануала
Тут есть чтение построчно. Меняете логику на свою и всё готово. Главное не забывайте ставить бряк, если всё, что нужно, найдено и дальше можно не читать.

Nikitian
а функцией file() не проще? она если не ошибаюсь возврящает массив с содержимым файла построчно.

Вообще есть такая функция которая бы прочитала например от 100 до 600 строки в файле, и не затрагивала бы другие строки???Если есть то покажите пример))))

только руками писать там строчек 6-8 будет приблизительно. все что нужно создать переменную для определения стартовой строчки запихнуть функцию file() в цыкл и записать в переменную все нужны линии. а когда дошел до последней брякнуть.

KaFe
ну чисто логически - читать частями будет выгоднее в плане экономии ресурсов ... но чуть дольше в плане выполнения скрипта - а вообще если интересует оптимизация кода , советую ознакомиться с этой статьей .. материал стар, но до сих пор актуален)

вот кстати слегка твой адрес - цитата из этой статьи

sl4mmer статья очень интересная спясябки
Gabriel я знаю такой способ.

дополнение к вопросу:

Если я разбил файл из 7к на 7 файлов по 1000 и начал по очереди искать в каждом файле, это увеличит скорость выполнения скрипта или она останется таковой же?

Gabriel

twin

twin файл свой, в нем каждая строчка имеет строго определенный формат, записи в файл добавляются по одной строчке, вопрос КАК ЧИТАТЬ ЧАСТЯМИ????

Большие файлы

Ни для кого не секрет, что есть достаточно приличный арсенал штатных функций для работы с файлами. Но не всегда они удовлетворяют текущим потребностям. В основном это касается чтения очень больших файлов. Дело в том, что получить данные из середины файла можно только считав его весь в оперативную память. И хотя есть функция fgets(), позволяющая читать его частями, определить место нужного участка весьма проблематично. А читать весь файл в оперативную память очень расточительно. Тем более, если файл очень большой. Он может просто напросто туда не поместиться. Особенно учитывая ограничения ресурсов на хостингах.

Для справки, начиная с версии PHP 5.1, функция file_get_contents() тоже умеет читать файл частями. Но и это нам не поможет, так как определить место, откуда начинать чтение, крайне затруднительно.

Попытаемся выйти из положения. Собственно ничего особо нового мы изобретать не станем. Все давно придумано и реализовано в базах данных. Попробуем просто разобраться. как это устроено, и соорудить что-то по образу и подобию.

Для того, что бы получить часть файла, мы будем записывать в него информацию построчно. Каждая строка - это набор символов, оканчивающийся символом перевода на новую строку (LF) (\n). В десятичном виде он представляется как число 10, в шестнадцатеричном как 0x0A .

Для чего так. При такой схеме нам будет достаточно узнать количество байт до начала нужной строки, и мы сможем дальше спокойно отсчитать нужное их количество. А вот для того, что бы определить начало строки, есть два пути.

Первый - сделать их одинакового размера. Тогда можно будет просто умножить заданный размер на количество строк, и мы получим искомую величину. Сделать это можно ограничив размер заданной величиной, а если данных меньше, дополнить до заданной какими то заполнителями. Например пробелами. А при чтении удалить их.
Второй - записать длину каждой строки допустим в сериализованный массив, а его поместить служебной строкой в файл. Можно даже в отдельный файл, который будет на порядки меньше основного, и считывать оттуда. Это называется индекс.

У обоих путей есть как преимущества, так и недостатки. Мы реализуем оба и дадим возможность выбрать. Фактически сейчас мы построим микро базу данных. Из недостатков первого пути - файл получается больше, чем мог бы быть из за лишних наполнителей. И к тому же ограничение размера строки - тоже не лучшее решение. У второго пути несколько ниже быстродействие, особенно если файла два. И работать эти файлы могут только вместе, если индекс утерян или поврежден - прочитать основной файл уже проблематично.


Итак, поехали.

Фиксированная длина строк

Чтобы было легко ориентироваться в файле, нужно все строки сделать одной длины. Лишнее отрезать, недостающее заполнить пробелами.

Вот такая функция поможет это сделать:

    function levelString($string, $size = 100) 
    { 
        // Вычисляем размер строки в байтах 
        $lenght = strlen($string); 
        // Если больше заданной - обрезаем 
        if($lenght > $size) 
            $string = substr($string, 0, $lenght); 
        elseif($lenght < $size)// Если меньше - заполняем 
            $string = str_pad($string, $size);  
             
        return $string;     
    }

Теперь сколько бы байт не содержала исходная строка, на выходе всегда будет столько, сколько мы зададим вторым параметром. Нужно учитывать этот момент, иначе можно потерять данные, если строка окажется длиннее.
Еще одна тонкость. Функция strlen() считает именно байты, а не символы. И это тоже нужно учитывать при работе с многобайтными кодировками.

Для того, что бы продолжить не с пустыми руками, а проверяя все на практике, нам потребуется очень большой файл. Вот такой скрипт слепит нам нужный файл:

<?php

     
    set_time_limit(0);  
        
    function levelString($string, $size = 100) 
    { 
        $lenght = strlen($string); 
         
        if($lenght > $size) 
            $string = substr($string, 0, $lenght); 
        elseif($lenght < $size) 
            $string = str_pad($string, $size);  
             
        return $string;     
    } 
     
    for($i = 0; $i < 10000000; $i++) 
        file_put_contents('1.txt', levelString('строка '. $i) ."\n", FILE_APPEND);

Он будет работать долго, несколько минут (может даже десяток-другой). В результате получится файл размером около 1 гигабайта. Такой файл ни за какие коврижки нельзя открыть функцией file() к примеру. Ну а мы себе поставили цель научиться читать таких монстров, так что продолжим. Объект для поползновений теперь есть.

Вот так читается одна строка из этого файла:

<?php

    function charRead($file, $start, $size = 100) 
    { 
        // Вычисляем стартовую позицию,  
        // добавляя к каждой строке один байт на символ переноса        
        $offset = $start * $size + $start; 
        // Открываем основной файл для чтения 
        $handle = fopen($file, 'r'); 
        // Преремещаемся на стартовую позицию 
        fseek($handle, $offset, SEEK_SET); 
        // Читаем строку 
        $buffer = fgets($handle); 
        // Закрываем файл 
        fclose($handle);

        return $buffer; 
     
    }  

    echo charRead('1.txt', 3000000);

Очень легко и быстро. Функция принимает аргументами путь до файла, номер строки, с которой начинать чтение, и опционально (не обязательный параметр) заданную ранее длину строки.

А можно прочитать заданное количество строк, добавив еще один параметр (количество). За одно уберем пробелы - заполнители и представим результат в виде массива, как это сделала бы функция file()

<?php

    function charRead($file, $start, $lenght,  $size = 100) 
    { 
        $buffer = array(); 
        // Вычисляем стартовую позицию,  
        // добавляя к каждой строке один байт на символ переноса        
        $offset = $start * $size + $start; 
        // Открываем основной файл для чтения 
        $handle = fopen($file, 'r'); 
        // Преремещаемся на стартовую позицию 
        fseek($handle, $offset, SEEK_SET); 
        // Складываем построчно нужный фрагмент в массив 
        // попутно очищая от пробелов-заполнителей 
        while($lenght--)  
            $buffer[] = trim(fgets($handle)); 
        // Закрываем файл 
        fclose($handle); 

        return $buffer;    
    }  

    print_r(charRead('1.txt', 3000000, 10));

Вот примерно по такому принципу организовано храенение данных в базе MySQL тип поля char. Не зря мы так назвали функцию.

Вот.

я потом еще кучу выложу. Готовил статью на потом, вынудил

А про не фиксированную длину

Потом, говорю же.
И, кстати. Я не просто так спросил, откуда файл. Если свой - стоит задуматься.

twin и все остальные , у меня еще вопрос, сейчас он касается такого аспекта, есть ли в ПЫХе такая штука,что бы из файла можно было вырезать определенное количество байт из определенного место при том не прибегая к полной перезаписи файла.

Нет. Нету. Обычно это делается через промежуточные файлы.

Еще вопрос, если у меня есть файл я в него пишу данные, потом определяю от куда начинается и где конец добавленных данных, и заношу эти значение в индекс, который в дальнейшем сможет прочитать эти данные. Возникает вопрос вот в чем, если я удалю индекс то нет проблем все как бы данных не существует, а на самом деле они там остались, как мне их удалять?....Ведь если я буду добавлять и добавлять данные а старые не удалять там же будет куча ненужного хлама. Надеюсь мена поняли.

ИМХО при больших объемах информации и одновременных подключениях надо отказываться от использования файлов и смотреть в сторону БД файл с 100 мтрами инфы это много а таблица со 1000 метрами с продуманной структурой это даже не проблема.

Basili4 А я из принципов не хочу использовать БД, мне хочется файлы. И вообще я знаю о плюсах использования БД не надо мне это 100ый раз повторятт

twin Я все давно знаю. Просто я хочу сделать нормальный инструмент для работы с файлами на php. Ладно о чем это я.

Вопрос дня.
локируется ли файл файл при функции file_put_contents

Да. Еще как.

Спасибо twin Один ты мне помогаешь!

А я знаешь, почему я не хочу помогать? Потому что для таких целей и сделаны БД разные

ну будет еще одна самая лучшая KaFeSQL называтся будет

sergeiss, Basili4 Мне в кайф это делать, если не хотите помогать то вот вам

KaFe
Дык и мы и помогаем на путь тебя истинный вывести хотим. Путь просветления БДизм называется

Basili4 как жаль я Атеист.

Чисто с точки зрения принципов хранения информации:
один файл эквивалентен одной ячейке таблицы.

Michael

Что такое база данных? Это по существу - набор порций информации, существующей в течении длительного времени.
В правильно спроектированной БД, одна порция информации хранится в одной ячейке (1-ый закон нормализации)
Файл с этой точки зрения тоже представляет собой одну порцию информации. Потому что нет автоматических средств вытягивания из файлов "любых" данных. Если в файле хранить много разных данных, то придется писать к каждому типу файла свой алгоритм на выборку. А это уже не база данных.

Michael ну если ты так считаешь, не буду тебя переубеждать, кажись теорию реляционных баз данных знаешь

А если тебе понадобится работать на объектно-ориентированных и сетевых бД ты также будешь говорить??