Правила     Закладки     Карма    Календарь    Журналы    Помощь    Поиск    PDA    Чат   
        СМС-ки
   
Пейджер выключен!
Страницы: (5) « Первая ... 3 4 [5]  ( Перейти к первому непрочитанному сообщению )  
Фильтр авторов:    показать 
  скрыть
  Ответ в темуСоздание новой темыСоздание опроса

> оптимизация бд
S.Chushkin  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Пофигист
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 778
Пользователь №: 36058
На форуме: 3 года, 11 месяцев, 7 дней
Карма: 40




Цитата (hurt3 @ 30.08.2016 - 17:16)
я имею ввиду то что  может быть я просто словил параною, и решаю проблемы которых нет

100%

Цитата
но с другой стороны разве разумно решать системные проблемы аппаратными способами, почему из программ не выжать максимум прежде чем менять железо, м?

Нет абсолютного решения "железо vs ПО" - всё определяется ценой.

В примере, про который я писал выше, мы справились всего за несколько дней (идея - согласование - создание - тестирование - боевой), а если бы меняли структуру, алгоритмы, код, то провозились бы месяца три, чтобы сделать оптимально. Просто была такая задача "как можно быстрее".


--------------------
PM
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
hurt3  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Старик
***

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 143
Пользователь №: 38653
На форуме: 2 года, 11 месяцев, 3 дня
Карма:




S.Chushkin

а почему сразу не поставить решение на партиции или виевсы?

с учетом будущих возможных объемов так сказать?

может быть чуть боьше места будет заниматься, но спокойней будет сон нет?
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
S.Chushkin  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Пофигист
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 778
Пользователь №: 36058
На форуме: 3 года, 11 месяцев, 7 дней
Карма: 40




Цитата (hurt3 @ 30.08.2016 - 17:29)
S.Chushkin

а почему сразу не поставить решение на партиции или виевсы?

с учетом будущих  возможных объемов так сказать?

может быть чуть боьше места будет заниматься, но спокойней будет сон нет?

В одной небольшой базе у меня около 200 таблиц.
Каждая из них теоретически может иметь 4 миллиарда записей, что даст размер базы около 800 000 террабайт.
База была создана 10 лет назад. Фактически, на сегодня база достигла размера 200 мегабайт и самая большая таблица, около 1 млн. записей. Т.е. прирост в год около 20М.

Догадайся с одного раза, мне надо было рассчитывать ПО под такие теоретические размеры? wink.gif

Есть хорошее правило: "Всё хорошо, что в меру". И каждая задача требует своей меры.
Если ты уверен (сильно уверен), что твоя задача раздует БД до пары-другой террабайт за год - закладывай в решения это. А если "может быть, но скорее всего НЕ быть", не парься, если припрёт - сделаешь.


--------------------
PM
    1   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
hurt3  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Старик
***

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 143
Пользователь №: 38653
На форуме: 2 года, 11 месяцев, 3 дня
Карма:




S.Chushkin

ну понятно спасибо
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
twin  
Дата
Цитировать сообщение

Пользователь сейчас на форуме



Глухой нуб
******

Профиль
Группа: Администратор
Почтальон группы
Сообщений: 15560
Пользователь №: 6543
На форуме: 8 лет, 2 месяца, 1 день
Карма: 299

Трезвый :
5 лет, 11 месяцев, 11 дней


Цитата (hurt3 @ 30.08.2016 - 13:29)
а почему сразу не поставить решение на партиции или виевсы?

с учетом будущих возможных объемов так сказать?


--------------------
Если вам недостаточно собственных заблуждений, можно расширить их мнениями экспертов.

Нужно уважать мнение оппонета. Ведь заблуждаться - его святое право.

Зачем ворошить старое, когда можно наворотить новое?

user posted image
PMСайт пользователяICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
sergeiss  
Дата
Цитировать сообщение

Пользователь сейчас на форуме



Сидел он, дум великих полон - и вдаль глядел
******

Профиль
Группа: Эксперт
Группа переписки
Сообщений: 14968
Пользователь №: 4190
На форуме: 8 лет, 9 месяцев, 28 дней
Карма: 443




Цитата (S.Chushkin @ 30.08.2016 - 17:06)
Забудь про разделение на части (ака партицирование), если размер БД меньше 1-2 террабайт.

Не соглашусь. С ходу не соглашусь. По крайней мере на примере работы Постгре. Во-первых, выигрыш по скорости от партицирования есть, однозначный. Во-вторых, партицирование улучшает не только скорость выборки, но и позволяет удобнее работать с БД.
Естественно, если в выборке чаще всего оказывается задействована почти вся таблица, а не некоторые её части (партиции), то пользы не будет никакой smile.gif Но это будет говорить не о недостатке партиций, а о неправильном их применении.


--------------------
* Хэлп по PHP
* Описалово по JavaScript
* Хэлп и СУБД для PostgreSQL

* Обучаю PHP, JS, вёрстке. Интерактивно и качественно. За разумные деньги.

* "накапливаю умение телепатии" (С) и "гуглю за ваш счет" (С)

user posted image
PMICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
S.Chushkin  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Пофигист
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 778
Пользователь №: 36058
На форуме: 3 года, 11 месяцев, 7 дней
Карма: 40




Я не говорю, что разбиение это "плохо" или "хорошо". Я говорю, что партицирование надо применять там, где нужно. А нужно это бывает крайне редко, как говорится "штучный товар". И практика показывает, что базы до 300Г с таблицами до сотен млн. записей не нужно разбивать, т.к. выигрыша не даёт. За редким-редким исключением.


--------------------
PM
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
sergeiss  
Дата
Цитировать сообщение

Пользователь сейчас на форуме



Сидел он, дум великих полон - и вдаль глядел
******

Профиль
Группа: Эксперт
Группа переписки
Сообщений: 14968
Пользователь №: 4190
На форуме: 8 лет, 9 месяцев, 28 дней
Карма: 443




Цитата (S.Chushkin @ 30.08.2016 - 22:19)
И практика показывает, что базы до 300Г с таблицами до сотен млн. записей не нужно разбивать, т.к. выигрыша не даёт.

Чья именно практика, какой тип БД использовался, как делалось партицирование, на каких запросах проверялось, что нет выигрыша... По каким критериям проводилось разбиение на партиции и как они фигурировали в запросах.... И еще много-много других вопросов smile.gif
Еще раз повторю, что мой опыт говорит о том, что просто миллионов записей достаточно, чтобы партицирование помогло ускорить выборки.
И еще раз скажу, что партицирование также позволяет улучшить обслуживание БД. В частности, (в правильных СУБД) можно забэкапить и удалить из активной работы часть таблицы, т.е. некоторые партиции. Например, устаревшие по времени. Без партиций это нереально сделать. А потом эти данные можно достать из бэкапа и поработать с ними - если вдруг возникнет такая надобность.


--------------------
* Хэлп по PHP
* Описалово по JavaScript
* Хэлп и СУБД для PostgreSQL

* Обучаю PHP, JS, вёрстке. Интерактивно и качественно. За разумные деньги.

* "накапливаю умение телепатии" (С) и "гуглю за ваш счет" (С)

user posted image
PMICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
hurt3  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Старик
***

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 143
Пользователь №: 38653
На форуме: 2 года, 11 месяцев, 3 дня
Карма:




sergeiss

по вопросу текщуему о денормализации в угоду ускорения процессов бд что скажешь?
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
hurt3  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Старик
***

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 143
Пользователь №: 38653
На форуме: 2 года, 11 месяцев, 3 дня
Карма:




Цитата (sergeiss @ 30.08.2016 - 21:23)
Естественно, если в выборке чаще всего оказывается задействована почти вся таблица, а не некоторые её части (партиции), то пользы не будет никакой


это вопрос как планировать бд, в указанном мной случае это будет 1 книга -1 элемент верхнего уровня, но по факту, партиционирование это как разнеси документы с одинаковыми ключами по папкам

т.е. по логике в любом случае это уже уменьшение нагрузки на бд, если есть хотя бы 2 элемента для партиционирования
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
  Быстрый ответ
Информация о Госте
Введите Ваше имя
Кнопки кодов
Для вставки цитаты, выделите нужный текст и
НАЖМИТЕ СЮДА
Введите сообщение
Смайлики
:huh:  :o  ;) 
:P  :D  :lol: 
B)  :rolleyes:  <_< 
:)  :angry:  :( 
:unsure:  :blink:  :ph34r: 
     
Показать всё

Опции сообщения  Включить смайлики?
 Включить подпись?
 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:

Опции темыСтраницы: (5) « Первая ... 3 4 [5]  Ответ в темуСоздание новой темыСоздание опроса