Не обязательно. Если ты принимаешь решение, что даже LONGTEXT может не вместить данные, то просто добавь еще одно поле в таблицу. В нем записывай порядковый номер загруженной части данных. То есть, числа 1, 2, 3... При выборке, соответственно, указывай сортировку по возрастанию по этому полю.
Если же данные убираются в одну запись, то пиши там 0. Это будет четким индикатором того, что не надо читать другие записи.
Но вообще, я смутно представляю, что такое можно грузить объемом больше 4 ГБ

Да даже пусть чуть меньше 4 ГБ, чтобы одним куском записать. Кроме всего прочего, это будет время немало занимать. Да и обрабатывать на серваке тоже время нужно. Не говоря о том, что загрузить это всё в БД тоже нехило так получится сервер нагрузить.
_____________
*
Хэлп по PHP*
Описалово по JavaScript *
Хэлп и СУБД для PostgreSQL*
Обучаю PHP, JS, вёрстке. Интерактивно и качественно. За разумные деньги. *
"накапливаю умение телепатии" (С) и "гуглю за ваш счет" (С)