[ Поиск ] - [ Пользователи ] - [ Календарь ]
Полная Версия: MongoDB Чтение данных из коллекции в 30 млн
Vales
Приветствую уважаемые !
Имеется проблема чтения данных из коллекции.
Размер коллекции 30 млн записей. Коллекция постоянно пополняется примерно на 50-100 записей в секунду. Индексация не помогает. При запросе данных по фильтру сервер подвисает примерно минут на 5.

$imei = "352094088867939";
$date = "270818";

$connection = new Mongo();
$db = $connection->tracker_repository;
$collection = $db->t0818;

$criteria = array(
'tracker' => $imei,
'date' => $date,
);

$cursor = $collection->find($criteria);


Подскажите, кто сталкивался с такой ситуацией.

Железо:

Xeon 2CPU x 2.4 Ghz
RAM: 16 Gb
HDD: 2TB
OS: CentOS
vagrand
Я ни в коей мере не эксперт по монго, но похоже пришло время вам задуматься о горизонтальном масштабировании вашей БД. Вроде как монго это позволяет делать.

_____________
Senior PHP developer: PHP5, MySQL, JavaScript, CakePHP, Yii/Yii2, Zend Framework, Smarty, XML/Xslt, JQuery, Jquery Mobile, Bootstrap, ExtJS, HTML, HTML5, CSS, Linux, SVN, Git, Memcached, Redis, MongoDB, Zend Guard, Ioncube, FFMpeg, PayPal, Webmoney, Qiwi, Facebook API, Vkontakte Api, Google API, Twitter Api, Steam Api.
Junior Android Developer: Android SDK, многопоточность, работа с HTTP запросами, JSON, SQLite, фрагменты.
sergeiss
Vales, я с Монго работаю сейчас, но у меня там далеко не "биг дата" smile.gif Да и наворотов никаких нету.
Почитай вот, например, тут https://habr.com/post/217393/ Скорее всего, найдешь много полезного для своего случая.
Насколько я вижу по описанию, шардирование тут является примерным аналогом партицирования в Постгре или в Мускуле.

_____________
* Хэлп по PHP
* Описалово по JavaScript
* Хэлп и СУБД для PostgreSQL

* Обучаю PHP, JS, вёрстке. Интерактивно и качественно. За разумные деньги.

* "накапливаю умение телепатии" (С) и "гуглю за ваш счет" (С)

user posted image
vital
Интересно, как к человеку к-й понятия не имеет даже об индексах, ни вообще о том, как работают бд, и все что смог сообщить это бесполезный конфиг железа, попала база с такими(пусть и не самыми большими, но серёзными) обьемами коллекций.

_____________
"Нужно быть готовым прислушиваться к тем, кто может тебя чему-нибудь научить. Иначе ты никогда не вырастешь."

Откровенно я никому ниразу не нагрубил. А дать подзатыльник зарвавшемуся юнцу, так это и ему на пользу, и мне в удовольствие. © AllesKlar
Эли4ка
vital,я хотела зажать этот вопрос. Но на него не будет ответа 100%.
vital
Цитата (Эли4ка @ 15.09.2018 - 16:41)
vital,я хотела зажать этот вопрос. Но на него не будет ответа 100%.

Вы если хотите что-то сказать, но стесняетесь, т.к даме вроде как бы не пристало - не стесняйтесь, обращайтесь, мое ампула\имидж\статус позволяет говорить здесь что угодно smile.gif Старики уже привыкли/помнят, а я и не стесняюсь smile.gif

_____________
"Нужно быть готовым прислушиваться к тем, кто может тебя чему-нибудь научить. Иначе ты никогда не вырастешь."

Откровенно я никому ниразу не нагрубил. А дать подзатыльник зарвавшемуся юнцу, так это и ему на пользу, и мне в удовольствие. © AllesKlar
Эли4ка
vital,хорошо. буду задавать вопросы
Быстрый ответ:

 Графические смайлики |  Показывать подпись
Здесь расположена полная версия этой страницы.
Invision Power Board © 2001-2024 Invision Power Services, Inc.