Правила     Закладки     Карма    Календарь    Журналы    Помощь    Поиск    PDA    Чат   
        СМС-ки
   
Пейджер выключен!
Страницы: (2) [1] 2  ( Перейти к первому непрочитанному сообщению )  
Фильтр авторов:    показать 
  скрыть
  Ответ в темуСоздание новой темыСоздание опроса

> Вынести mysql базу на удалённый сервер
VELIK505  
 ۩  [x] Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 1515
Пользователь №: 25307
На форуме: 6 лет, 5 месяцев, 14 дней
Карма: 44




При посещении ~80 000 уников в сутки и ~6000 онлайна mysql стал нагружать процессор:
Intel® Core™ i7-4770 CPU @ 3.40GHz 3401.000 Mhz X 8.
Нормально хавают конечно и httpd-процессы и nginx worker но в основном весь процессор сжирает mysql.
user posted image
user posted image
Путём оптимизации удалось скинуть немного нагрузки с процессора. И уменьшием httpd-процессов которых в среднем при 5-6к онлайна было около 16 каждый занимающий 1.3% CPU после установки xcache и попадания всех php-скриптов в кеш кол-во процессов апача снизилось до 8-9.

Вчера я взял ещё 1 сервер в этом же дата центре.
с более мощным процессором и большим кешом, количеством ядер и потоков:
на нём проц Intel-Core-i7-3930K-Processor-12M-Cache-up-to-3_80-GHz в Turbo Boost по 3800MHZ
Ram 64gig
user posted image

На сколько целесообразно будет если я на него перенесу базу данных и через порт 3306 буду подключать на сервере где морда сайта?
Всю морду сайта (все скрипты страницы html js php и тд) я оставляю на этом сервере и пускай на нём крутится apache exim nginx bind cron а на пустой сервер я выношу mysql-server и оттуда сюда поключаю базу $bd_host = "xxx.xxx.xx.xxx:3306";
на скоко это правильное решение будет?
На новом сервере я конечно задам mysql-server-у bind-address и открою через файрвол 3306 порт для айпи адреса сервера где морда сайта.
ведь получаеться сейчас идёт подключение со своего же сервака и соответственно localhost он же соединяет по соккетам что на 30-40% быстрее чем по порту.
Правильное ли решение будет в таком случае? Или сейчас это уже дедовский метод и есть уже решения получше?
90% таблиц MYISAM. 10% INNODB. Есть ещё какое либо сравнение так и не нашёл какой тип таблиц расходует чуть-чуть хотябы поменьше ресурсов CPU майсам или иннодб?
Возможно ли подключиться к mysql-server-у с удалёного сервера по сокету?
Кому интересно сёдня согласно mysqltuner-у и своим подчётам составил my.cnf на удалённый сервак (может тоже кто что подскажет):
[client]
port = 3306
socket = /var/run/mysqld/mysqld.sock
default-character-set = cp1251

# This was formally known as [safe_mysqld]. Both versions are currently parsed.
[mysqld_safe]
socket = /var/run/mysqld/mysqld.sock
nice = 0

[mysqld]
#
# * Basic Settings
#
user = mysql
pid-file = /var/run/mysqld/mysqld.pid
socket = /var/run/mysqld/mysqld.sock
port = 3306
basedir = /usr
datadir = /var/lib/mysql
tmpdir = /tmp
lc-messages-dir = /usr/share/mysql
skip-external-locking
#
# Instead of skip-networking the default is now to listen only on
# localhost which is more compatible and is not less secure.
bind-address = xxx.xxx.xx.xxx
#
# * Fine Tuning
#
key_buffer_size = 15360M
join_buffer_size = 16M
max_connect_errors = 30
max_allowed_packet = 32M
table_open_cache = 4096
thread_stack = 384K
thread_cache_size = 500
# This replaces the startup script and checks MyISAM tables if needed
# the first time they are touched
myisam-recover = BACKUP
max_user_connections = 700
max_connections = 1400
table_cache = 256
myisam_sort_buffer_size = 512M
net_buffer_length = 96K

thread_concurrency = 24
#
# * Query Cache Configuration
#
query_cache_type = 1
query_cache_limit = 64M
query_cache_size = 2048M
#
max_heap_table_size=1024M
tmp_table_size=1024M
sort_buffer_size = 128M
read_buffer_size = 256M
read_rnd_buffer_size = 128M
collation-server=cp1251_general_ci
character_set_server=cp1251
character-set-server = cp1251

net_read_timeout=500
# * Logging and Replication
#
# Both location gets rotated by the cronjob.
# Be aware that this log type is a performance killer.
# As of 5.1 you can enable the log at runtime!
#general_log_file = /var/log/mysql/mysql.log
#general_log = 1
#
# Error logging goes to syslog due to /etc/mysql/conf.d/mysqld_safe_syslog.cnf.
#
# Here you can see queries with especially long duration
#log_slow_queries = /var/log/mysql/mysql-slow.log
#long_query_time = 2
#log-queries-not-using-indexes
#
# The following can be used as easy to replay backup logs or for replication.
# note: if you are setting up a replication slave, see README.Debian about
# other settings you may need to change.
#server-id = 1
#log_bin = /var/log/mysql/mysql-bin.log
expire_logs_days = 10
max_binlog_size = 100M
character-set-server = cp1251
#binlog_do_db = include_database_name
#binlog_ignore_db = include_database_name
#
# * InnoDB
#
# InnoDB is enabled by default with a 10MB datafile in /var/lib/mysql/.
# Read the manual for more InnoDB related options. There are many!
#
# * Security Features
#
# Read the manual, too, if you want chroot!
# chroot = /var/lib/mysql/
#
# For generating SSL certificates I recommend the OpenSSL GUI "tinyca".
#
# ssl-ca=/etc/mysql/cacert.pem
# ssl-cert=/etc/mysql/server-cert.pem
# ssl-key=/etc/mysql/server-key.pem
innodb_buffer_pool_size = 1024M
innodb_thread_concurrency = 14
innodb_log_file_size = 5M
innodb_log_buffer_size = 5M
innodb_flush_log_at_trx_commit = 1
innodb_lock_wait_timeout = 80
innodb_file_per_table
innodb_thread_concurrency = 24

[mysqldump]
quick
quote-names
max_allowed_packet = 32M
default-character-set = cp1251

[mysql]
#no-auto-rehash # faster start of mysql but no tab completition
default-character-set = cp1251
[isamchk]
key_buffer = 16M

#
# * IMPORTANT: Additional settings that can override those from this file!
# The files must end with '.cnf', otherwise they'll be ignored.
#
!includedir /etc/mysql/conf.d/

Спасибо.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
bestxp  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



орангутанг
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 2059
Пользователь №: 36605
На форуме: 4 года, 3 месяца, 8 дней
Карма: 113




ИМХО главное что бы сеть была одна и подключаться не через внешний IP а внутренний, узнай возможности ДЦ по объединению в одну сеть своих физ серверов, ИМХО уменьшение издержек такого рода будет куда более лучшее

плюс у тебя смотрю висят левые /bin/ispmgr
Плюс ко всему лишняя прослойка между nginx в виде Apache, я бы снизил нагрузку еще убрав этот лишний слой и связал бы nginx + php-fpm

а на счет бд то да пора бы ей и отделиться уже


--------------------
PMПисьмо на e-mail пользователюСайт пользователяICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
VELIK505  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 1515
Пользователь №: 25307
На форуме: 6 лет, 5 месяцев, 14 дней
Карма: 44




Цитата (bestxp @ 30.11.2015 - 08:40)
плюс у тебя смотрю висят левые /bin/ispmgr
Плюс ко всему лишняя прослойка между nginx в виде Apache, я бы снизил нагрузку еще убрав этот лишний слой и связал бы nginx + php-fpm

ИМХО главное что бы сеть была одна и подключаться не через внешний IP а внутренний, узнай возможности ДЦ по объединению в одну сеть своих физ серверов, ИМХО уменьшение издержек такого рода будет куда более лучшее

ага убил его.
На скоко лучше использовать nginx+php-fpm чем php как модуль apache? Скорость лучше?
Я склоняюсь пересобрать Nginx + PHP-FastCGI я так делал давненько на другом проекте. А вот с php-fpm не знаком но гляну.

Насчёт подключения по внутреннему айпи я узнаю. Спасибо за совет.
Ещё хочу переписать сообщушьки там от них много запросов. На этом сервере поставить mongdb и в неё писать сообщения (почитал она не жрёт почти процессор) а на том пускай mysql висит.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
keinhoj  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Новичок
*

Профиль
Группа: Пользователь
Сообщений: 31
Пользователь №: 41480
На форуме: 1 год, 11 месяцев, 7 дней
Карма: 1




VELIK505
выше уже сказали, вынести бд на отдельный сервер, если сервера в одном регионе (дц) их могут соединить по локалке, это нужно просить. на digitalocean можно через панель включить, как у других не знаю. еще можно в mysql выставить приоритет на select, это из такого что бы ничего не сломать, но работать станет быстрее
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
VELIK505  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 1515
Пользователь №: 25307
На форуме: 6 лет, 5 месяцев, 14 дней
Карма: 44




По поводу обьединения серваков в одну сеть.
Да возможно, но это будет стоить дополнительно.
Цены такие.
1. Нужно будет переместить сервер в стойку к первому серверу.
В ДЦ это стоит 45$
Далее, на каждый сервер нужно установить доп. сетевую плату.
Это стоит 34$ на каждый сервер.

Далее цена каждого сервера возрастёт на 15$



Я думаю игра не стоит свеч.
Сервера и так с Gb каналом.
И пинг между серверами отличный

ping mysite.com
PING mysite.com (xxx.xxx.xx.xx) 56(84) bytes of data.
64 bytes from mysite.com (xxx.xxx.xx.xx): icmp_req=1 ttl=62 time=0.319 ms
64 bytes from mysite.com (xxx.xxx.xx.xx): icmp_req=2 ttl=62 time=0.498 ms
64 bytes from mysite.com (xxx.xxx.xx.xx): icmp_req=3 ttl=62 time=0.223 ms

Что думаете?
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Valick  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 5617
Пользователь №: 35718
На форуме: 4 года, 6 месяцев, 5 дней
Карма: 173




я конечно плохо разбираюсь в администрировании серверов, но помоему тут пахнет нагибаловом...


--------------------
wmr - R281553014107
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
VELIK505  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 1515
Пользователь №: 25307
На форуме: 6 лет, 5 месяцев, 14 дней
Карма: 44




Цитата (Valick @ 30.11.2015 - 10:51)
я конечно плохо разбираюсь в администрировании серверов, но помоему тут пахнет нагибаловом...

что именно? то что бабла хотят сорвать имеешь ввиду?
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Valick  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 5617
Пользователь №: 35718
На форуме: 4 года, 6 месяцев, 5 дней
Карма: 173




VELIK505, ну ты же не платишь полую стоимость за проц, материнку, винты, с какого хера сетевуха-то должна касаться клиета "рублём"? про то что сервер надо нести в другую стойку это вообще ботва, клиент же не виноват что там в стойке уже нет подходящего сервака, ну и мне не доконца понятно как он сейчас работает без сетевухи? опять же соединённые локально на мой неискушённый взгляд должны стоить дешевле по тарифу (платить за трафик в этом случае между серваками, это всё равно что платить за воздух)
Опять же могу сильно ошибаться, но думаю меня поправят, те кто лучше разбирается в серверном железе и его эксплуатации.

Сначала я подумал у вас порносайт (~80 000 уников в сутки) но судя по запросам вы больше похожи на "мелкопоместного" хостера smile.gif Я дважды ошибаюсь?


--------------------
wmr - R281553014107
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
VELIK505  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 1515
Пользователь №: 25307
На форуме: 6 лет, 5 месяцев, 14 дней
Карма: 44




Я не понял почему он сказал что надо в каждый сервак по сетевухи добавить... Их же всегда 2 в серваке...
Нет не хостеры. и не порно сайт.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
inpost  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Помагите Здесь живу!!!
******

Профиль
Группа: Эксперт
Группа переписки
Сообщений: 22919
Пользователь №: 20039
На форуме: 7 лет, 5 месяцев, 17 дней
Карма: 607




1) slow query выведи себе
2) no index запросы выведи
3) поставь nginx+php-fpm , чуть ускоришь сам сервер

Уверен на 75% что сервер ещё можно оптимизировать не раз и сократить нагрузку.


--------------------
Обучаю веб-программированию качественно и не дорого: http://school-php.com
Фрилансер, принимаю заказы: PHP, JS, AS (видео-чаты). Писать в ЛС (Личные сообщения на phpforum).
PMПисьмо на e-mail пользователюICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
VELIK505  
 ۩  Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 1515
Пользователь №: 25307
На форуме: 6 лет, 5 месяцев, 14 дней
Карма: 44




Цитата (inpost @ 30.11.2015 - 11:42)
1) slow query выведи себе
2) no index запросы выведи
3) поставь nginx+php-fpm , чуть ускоришь сам сервер

Уверен на 75% что сервер ещё можно оптимизировать не раз и сократить нагрузку.

Да я через mytop смотрел есть есть там что оптимизировать. Но всё равно слабоват сервак уже для него. на новый перенесу. и там уже посмотрю что можно оптимизировать. Всё покажу. Ок?
Я не пойму что делать с обьединением. Зачем с меня просят по 35$ за каждую сетевуху? если их 2ве в серваке всегда. И почему на 15$ увеличиться в месяц цена на каждый сервер?
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
keinhoj  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Новичок
*

Профиль
Группа: Пользователь
Сообщений: 31
Пользователь №: 41480
На форуме: 1 год, 11 месяцев, 7 дней
Карма: 1




аха, на digitalocean бесплатно одной кнопкой в панели управления)
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
bestxp  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



орангутанг
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 2059
Пользователь №: 36605
На форуме: 4 года, 3 месяца, 8 дней
Карма: 113




Цитата (keinhoj @ 30.11.2015 - 17:10)
аха, на digitalocean бесплатно одной кнопкой в панели управления)

не путай виртуалки и реально физ железо

на счет fpm по сути это улучшенный fastcgi так что париться не стоит, раз у тебя там стоит один сайт и настройка будет проще) если я не ошибаюсь в выводах

просто fpm может плодить процессы в заданном интервале в зависимости от нагрузки и сам убивать зомби процессы если такие появились ( только свои дочерные ) поэтому с ним меньше хлопот =) там вообще как настроишь

+ если у тебя много статики где страницы не меняються постоянно то можешь взять например езе varnish ко всему , но тут нужно понимать специфику проекта


--------------------
PMПисьмо на e-mail пользователюСайт пользователяICQ
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Valick  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Здесь живет
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 5617
Пользователь №: 35718
На форуме: 4 года, 6 месяцев, 5 дней
Карма: 173




keinhoj, так оно и должно решаться по средствам управляемого коммутатора, а не переносом сервера из стойки в стойку. Плюс к этому 2 сервера - это два шлюза, и по хорошему 2 аппаратных брендмауэра и остальной периферии, а два сервера соединённых локально по идее должны иметь общий шлюз, т.е. в два раза меньше "обвеса". Возможно я ошибаюсь, но уж таскать сервера с места на место это жуть какая фигня.


--------------------
wmr - R281553014107
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
Oyeme  
Дата
Цитировать сообщение

Пользователя сейчас нет на форуме



Reality is wrong. Dreams are for real
******

Профиль
Группа: Форумчанин
Завсегдатай форума
Сообщений: 1720
Пользователь №: 16955
На форуме: 8 лет, 3 месяца
Карма: 96




В любом случаи базы должны быть на отдельных виртуальных серверах, а не на одном серваке все крутится.С таким подходом и apache может все съесть либо что-то отвалится.

По security policy Вы не попадаете.

После чего сможете сделать балансировку серверов.В зависимости от нагрузки серера перенаправлять на тот или иной сервер.

В идеале иметь еще полную копию сервера если что-то отвалиться.

Попробуйте так же использовать varnish cache
https://www.varnish-cache.org/

В разы увеличится скорость


--------------------
Programming: Private lessons via skype £45/h

Частные уроки в Лондоне / удаленно по skype.
PMПисьмо на e-mail пользователю
    0   Для быстрого поиска похожих сообщений выделите 1-2 слова в тексте и нажмите сюда Для быстрой цитаты из этого сообщения выделите текст и нажмите сюда
  Быстрый ответ
Информация о Госте
Введите Ваше имя
Кнопки кодов
Для вставки цитаты, выделите нужный текст и
НАЖМИТЕ СЮДА
Введите сообщение
Смайлики
:huh:  :o  ;) 
:P  :D  :lol: 
B)  :rolleyes:  <_< 
:)  :angry:  :( 
:unsure:  :blink:  :ph34r: 
     
Показать всё

Опции сообщения  Включить смайлики?
 Включить подпись?
 
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
0 Пользователей:

Опции темыСтраницы: (2) [1] 2  Ответ в темуСоздание новой темыСоздание опроса