При отправке сообщений Database Error

Razielik · 15.07.2014, 14:04 **Вверх**

Доброго времени суток!

С относительно недавнего времени при отправке сообщений начала рандомно возникать Database Error, при этом не отдельным экраном, а наверху редактора сообщений. Само сообщение при этом отправляется, т.к. при обновлении страницы браузером, его можно созерцать.

На почту приходят такие вот логи:

Код:

Ошибка базы данных в vBulletin 4.1.7:

Invalid SQL:

                                INSERT INTO postlog
                                (postid, useragent, ip, dateline)
                                VALUES
                                (9156, 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0', 1045184657, 1405420294);

Ошибка MySQL     : Duplicate entry '9156' for key 'PRIMARY'
Номер ошибки     : 1062
Дата запроса     : Tuesday, July 15th 2014 @ 02:31:34 PM
Дата ошибки      : Tuesday, July 15th 2014 @ 02:31:34 PM
Скрипт           : http://<мой домен>/newreply.php?do=postreply&t=288
Реферер          : http://<мой домен>/showthread.php?t=288&p=8593
IP адрес         : <IP отправившего сообщение>
Имя пользователя : <ник оттправившего сообщение>
Имя класса       : vB_Database
Версия MySQL     : 5.1.50-community

Интернеты наверное все облазил, не один день мучился, но ничего конкретно по этой ошибке 1062 не смог найти.

Ошибка возникает сугубо рандомно, бывает днями ее нет. А бывает на дню по много раз от разных пользователей.

Сам себя классифицирую как продвинутый нуб, так что углубленно MySQL пока не осиливаю. Есть ли по возможности безболезненное решение данной проблемы?

...Заранее спасибо.

Luvilla · 15.07.2014, 14:43 **Вверх**

Сообщение от Razielik

Интернеты наверное все облазил, не один день мучился, но ничего конкретно по этой ошибке 1062 не смог найти.

та ладно)
Duplicate entry - довольно распространённое явление

Сообщение от Razielik

Ошибка возникает сугубо рандомно, бывает днями ее нет. А бывает на дню по много раз от разных пользователей.

при таких проявлениях особого криминала - нет
Майсиквел тормозит с обработкой запроса
форум активный? постят много?

рекомендации:
оптимизировать таблицу postlog (не поможет, но не помешает)
обновиться до последней актуальной версии в своей линейке
ибо 4.1.7... хм...
Не решит проблему с БД, но повысит взломоустойчивость

Razielik · 15.07.2014, 15:24 **Вверх**

Добрый день.

Имеете ввиду, MySQL тормозит из-за интернет-соединения или сам по себе из-за сервера? Просто шибко больших нагрузок по серверу не наблюдал.
Форум не особо активный летом, а так, в принципе, несколько десятков сообщений в день можно ждать. Пользователей мало, да и форум создавался сугубо для неформального общения знакомых, а также знакомых их знакомых и т.п., так сказать, ненапряжная обстановка.

Насчет оптимизаций, провожу их регулярно либо из phpmyadmin, либо из админки форума ("оптимизировать таблицы"), оптимизирую все. Но напротив некоторых стоит пометка либо "Table does not support optimize, doing recreate + ...", либо "Table is already up to date".

А еще:

Код:

Innodb_buffer_pool_pages_dirty 	25
Innodb_buffer_pool_reads 	1,776
Handler_read_rnd 	24 k
Handler_read_rnd_next 	648 k
Created_tmp_disk_tables 	6
Key_reads 	1,298
Select_full_join 	195
Opened_tables 	1,163

подсвечиваются красным.

По рекомендациям с комьюнити MySQL, увеличил размеры буферов в разумных (рекомендованных) пределах, но значения только увеличились (может это из-за оптимизации через ту же phpmyadmin, не знаю, она ж перелопачивает всю базу, наверное).

Это все я к тому, что хоть форум сам работает нормально, но эта рандомная ошибка начинает напрягать.

RASHER · 15.07.2014, 17:03 **Вверх**

Сообщение от Razielik

Добрый день.

Имеете ввиду, MySQL тормозит из-за интернет-соединения или сам по себе из-за сервера? Просто шибко больших нагрузок по серверу не наблюдал.
Форум не особо активный летом, а так, в принципе, несколько десятков сообщений в день можно ждать. Пользователей мало, да и форум создавался сугубо для неформального общения знакомых, а также знакомых их знакомых и т.п., так сказать, ненапряжная обстановка.

Насчет оптимизаций, провожу их регулярно либо из phpmyadmin, либо из админки форума ("оптимизировать таблицы"), оптимизирую все. Но напротив некоторых стоит пометка либо "Table does not support optimize, doing recreate + ...", либо "Table is already up to date".

А еще:

Код:

Innodb_buffer_pool_pages_dirty 	25
Innodb_buffer_pool_reads 	1,776
Handler_read_rnd 	24 k
Handler_read_rnd_next 	648 k
Created_tmp_disk_tables 	6
Key_reads 	1,298
Select_full_join 	195
Opened_tables 	1,163

подсвечиваются красным.

По рекомендациям с комьюнити MySQL, увеличил размеры буферов в разумных (рекомендованных) пределах, но значения только увеличились (может это из-за оптимизации через ту же phpmyadmin, не знаю, она ж перелопачивает всю базу, наверное).

Это все я к тому, что хоть форум сам работает нормально, но эта рандомная ошибка начинает напрягать.

Добрый день.

Попробуйте обновить форум, например до версии vBulletin 4.2.0

Попробуйте поставить версию PHP 5.3

Оптимизируйте таблицу: postlog (Лью выше писала)

Воткните в конец config.php код:

Код:

define(DISABLE_HOOKS, 1);

(возможно это из-за хаков, которые вы установили, этим кодом их и отключите, временно)
Пробуйте.

Razielik · 15.07.2014, 17:26 **Вверх**

День добрый.

Насчет обновления - это как минимум "ой-ой-ой!" Т.к. куча шаблонов, файлов движка, да то же оформление и т.п. дорабатывалась еще пару лет назад. А что там дорабатывалось помимо этого, не помню за давностью.

Что касается хаков, то у меня их не очень большое количество, и все они работали исправно уже более года, по мере их добавления для нужд форума.

Про оптимизацию писал выше, провожу регулярно, раз в неделю.

PHP как раз 5.3 установлен.

Сам лично грешу на качество интернета и на мелкие повреждения в БД. Вроде ничего не плюется ошибками, но начитавшись по MySQL, понимаю, что тут может быть темный лес.

RASHER · 15.07.2014, 17:29 **Вверх**

Сообщение от Razielik

День добрый.

Насчет обновления - это как минимум "ой-ой-ой!" Т.к. куча шаблонов, файлов движка, да то же оформление и т.п. дорабатывалась еще пару лет назад. А что там дорабатывалось помимо этого, не помню за давностью.

Что касается хаков, то у меня их не очень большое количество, и все они работали исправно уже более года, по мере их добавления для нужд форума.

Про оптимизацию писал выше, провожу регулярно, раз в неделю.

PHP как раз 5.3 установлен.

Сам лично грешу на качество интернета и на мелкие повреждения в БД. Вроде ничего не плюется ошибками, но начитавшись по MySQL, понимаю, что тут может быть темный лес.

Ссылку на форум можно ?

Razielik · 15.07.2014, 18:15 **Вверх**

В личке.

А может ли на редактор сообщения пагубно влиять дотошное кеширование, прописанное в .htaccess?

RASHER · 15.07.2014, 19:26 **Вверх**

Сообщение от Razielik

В личке.

А может ли на редактор сообщения пагубно влиять дотошное кеширование, прописанное в .htaccess?

Может.

Luvilla · 15.07.2014, 19:34 **Вверх**

Сообщение от RASHER

возможно это из-за хаков, которые вы установили

что-то сомневаюсь....

Сообщение от Razielik

Но напротив некоторых стоит пометка либо "Table does not support optimize

опаньки... ИнноДБ...
не-на-вижу!!!
"оптимизировать" InnoDB можно только копированием, и то это не оптимизация, а фикция
а вот в случае повреждения InnoDB - труп... они не чинятся средствами майсиквела

и что конкретно по postlog - она в чём, InnoDB или MyISAM?

Сообщение от Razielik

Насчет оптимизаций, провожу их регулярно

прекращайте
бессмысленно, иногда - вредно

Сообщение от Razielik

Форум не особо активный летом, а так, в принципе, несколько десятков сообщений в день можно ждать. Пользователей мало

тогда, возможно, проблема не в том, что два пользователя отправили пост одновременно
возможно, проблема в очистке таблицы
кроны работают? юзеров хватает, чтобы постоянно отрабатывали все кроны?

Сообщение от Razielik

А может ли на редактор сообщения пагубно влиять дотошное кеширование, прописанное в .htaccess?

маловероятно...
в любом случае, не видя, что именно там прописано, диагноз тут вряд ли кто поставит

Сообщение от Razielik

но эта рандомная ошибка начинает напрягать

понимаю
надо смотреть пациента вблизи...

Razielik · 15.07.2014, 19:42 **Вверх**

Вы меня пугаете...

Как раз все на InnoDB. =( Есть ли безболезненный способ перейти на MyISAM? Или восстановить postlog. Когда ставился форум, я был не просто нуб, а конкретный нуб. Шел тогдашним рекомендациям.

Кстати, нарыл ту же проблему:

Нажми для просмотра

http://www.vbulletin.com/forum/forum...hreads-replies

Только вот толком не понял что там предлагают.

В админке есть пункт "Исправление уникальных индексов", но я не знаю, поможет ли он. Файл mysql-schema.php я мог бы восстановить из архива движка форума. Ну а бекап базы у меня каждый день идет.

Кстати, postlog пишет, что "OK". Типа ошибок нету.

Luvilla · 15.07.2014, 19:50 **Вверх**

Сообщение от Razielik

Только вот толком не понял что там предлагают.

там не предлагают.. там отписали, что проблема была в том, что слетел автоинкремент

Сообщение от Razielik

Вы меня пугаете...

та ладно)
форум-то работает? ну и хорошо)

киньте в личку ссылку на форум и полный список хаков, на всякий случай

И я по-прежнему считаю, что нужно всерьёз подумать об обновлении

Razielik · 15.07.2014, 20:08 **Вверх**

Нашел несколько рекомендаций очистить содержимое postlog, т.к. там логируется информация о юзер-агентах, подключающихся к сайту. Не знаю насколько это правда (об очистке и последующей корректной работе), но список юзер-агентов я там как раз обнаружил.

Luvilla · 15.07.2014, 20:17 **Вверх**

Сообщение от Razielik

Нашел несколько рекомендаций очистить содержимое postlog, т.к. там логируется информация о юзер-агентах

ну, логируется... и что?
она сама чистится раз в сутки, эта таблица
по большому счёту, она вообще никому не нужна... (только нЕ надо воспринимать мои слова как рекомендацию удалить таблицу... тогда точно всё сломается)))

Razielik · 15.07.2014, 20:19 **Вверх**

Команда SQL-запроса по восстановлению автоинкремента не сделает ли более разрушительные последствия? Я в этом не силен, тем более в синтаксисе.

Luvilla · 15.07.2014, 20:40 **Вверх**

Сообщение от Razielik

Команда SQL-запроса по восстановлению автоинкремента не сделает ли более разрушительные последствия?

а его там нет, автоинкремента в таблице postlog
он есть в таблице post

Razielik · 15.07.2014, 21:56 **Вверх**

Что посоветуете? Кроме Гугла, в котором я и сейчас копаюсь. =)

Luvilla · 15.07.2014, 21:59 **Вверх**

Сообщение от Razielik

Что посоветуете?

я ответила в ЛС: выключите "предотвращение даблпостинга"
и подождите.. будут ли приходить ошибки
если не будут - считайте проблему решённой
если всё будет продолжаться по-прежнему, будем делать вскрытие)

Razielik · 17.07.2014, 00:00 **Вверх**

В общем, утром еще удалил тот хак. Ошибок вроде не было. Пока я не перезагрузил сервер. Получил пару ошибок, потом несколько раз обновил страницу, перезашел в ту тему, где постил, снова отправил сообщение, ошибок больше не получал. Мистика...

Я тут намекал на неправильное кеширование, так вот. Вот мой кусок конфига из .htaccess:

Код:

FileETag MTime Size

<IfModule mod_headers.c>
# 1 MONTH
<FilesMatch "\.(jpg|jpeg|gif|png|swf|css|js)$">
Header set Cache-Control "max-age=2419200, public"
</FilesMatch>
# 1 DAY
<FilesMatch "\.(html|htm)$">
Header set Cache-Control "max-age=86400, private, proxy-revalidate"
</FilesMatch>
</IfModule>
<IfModule mod_expires.c>
<FilesMatch "\.(jpg|jpeg|gif|png|swf|css|js)$">
ExpiresActive on
ExpiresDefault "access plus 1 month"
</FilesMatch>
<FilesMatch "\.(html|htm)$">
ExpiresActive on
ExpiresDefault "access plus 1 day"
</FilesMatch>
</IfModule>

<Ifmodule mod_deflate.c>
SetOutputFilter DEFLATE
AddOutputFilterByType DEFLATE text/text text/html text/plain text/xml text/css application/x-javascript application/javascript
</Ifmodule>

Может я что-то забыл туда добавить?

Тут еще маленькая мелочь. Когда тыкаешь мышой в редактор сообщений, то курсор набора текста может не сразу появиться, но печатать при этом можно (странный глюк). И мне кажется, что эти события как-то взаимосвязаны, ибо если изначально с редактором все нормально, то я не помню момента получения ошибок при этом.

Дабы не показаться слишком умным, напишу, что конфиг не мой, но я его самую малость доработал, убрав к примеру кеширование php, которое там совсем не к месту.

Если есть конструктивные замечания, то можно мне, ламеру, кинуть правильный конфиг кеширования для булки версии 4? Т.к. в инете много всего, а что правильнее и корректнее, неизвестно. =(

RASHER · 17.07.2014, 09:33 **Вверх**

Сообщение от Razielik

В общем, утром еще удалил тот хак. Ошибок вроде не было. Пока я не перезагрузил сервер. Получил пару ошибок, потом несколько раз обновил страницу, перезашел в ту тему, где постил, снова отправил сообщение, ошибок больше не получал. Мистика...

Я тут намекал на неправильное кеширование, так вот. Вот мой кусок конфига из .htaccess:

Код:

FileETag MTime Size

<IfModule mod_headers.c>
# 1 MONTH
<FilesMatch "\.(jpg|jpeg|gif|png|swf|css|js)$">
Header set Cache-Control "max-age=2419200, public"
</FilesMatch>
# 1 DAY
<FilesMatch "\.(html|htm)$">
Header set Cache-Control "max-age=86400, private, proxy-revalidate"
</FilesMatch>
</IfModule>
<IfModule mod_expires.c>
<FilesMatch "\.(jpg|jpeg|gif|png|swf|css|js)$">
ExpiresActive on
ExpiresDefault "access plus 1 month"
</FilesMatch>
<FilesMatch "\.(html|htm)$">
ExpiresActive on
ExpiresDefault "access plus 1 day"
</FilesMatch>
</IfModule>

<Ifmodule mod_deflate.c>
SetOutputFilter DEFLATE
AddOutputFilterByType DEFLATE text/text text/html text/plain text/xml text/css application/x-javascript application/javascript
</Ifmodule>

Может я что-то забыл туда добавить?

Тут еще маленькая мелочь. Когда тыкаешь мышой в редактор сообщений, то курсор набора текста может не сразу появиться, но печатать при этом можно (странный глюк). И мне кажется, что эти события как-то взаимосвязаны, ибо если изначально с редактором все нормально, то я не помню момента получения ошибок при этом.

Дабы не показаться слишком умным, напишу, что конфиг не мой, но я его самую малость доработал, убрав к примеру кеширование php, которое там совсем не к месту.

Если есть конструктивные замечания, то можно мне, ламеру, кинуть правильный конфиг кеширования для булки версии 4? Т.к. в инете много всего, а что правильнее и корректнее, неизвестно. =(

А может вы просто добавили лишнего туда ?

PS: попробуйте пересоздать .htaccess по какому-нибудь примеру настройки. Я не мастер, но может и поможет) У меня разные ошибки были после того как я напихал лишнего в файлик .htaccess

Razielik · 17.07.2014, 10:34 **Вверх**

Таблица POST не поддается оптимизации phpmyadmin. Выдает: "Table does not support optimize, doing recreate + analyze". Как восстановить ее индексы, если дело таки в ней (в таблице POST)? Что-то в сети какие-то противоречивые мануалы. В основном все "мучают" MyISAM. Возможно дело таки в ней. Как решить проблему с автоинкрементами? Уже весь мозг и гугл замучил. =(

Luvilla · 17.07.2014, 11:13 **Вверх**

Сообщение от Razielik

Таблица POST не поддается оптимизации phpmyadmin. Выдает: "Table does not support optimize, doing recreate + analyze". Как восстановить ее индексы, если дело таки в ней (в таблице POST)?

Razielik, у Вас в вопросах такая каша...
оптимизация таблицы нЕ имеет никакого отношения ни к индексам, ни к автоинкрементам

InnoDB действительно не отпимизируется
InnoDB не поддерживает FULLTEXT индекс, но! - у Вас 4ка, там таблицы поиска отдельные и они в MyISAM (по крайней мере, по дефолту они должны быть MyISAM)
AUTO_INCREMENT автоматически нЕ чинится, это только вручную

Что там у Вас, ошибки продолжают сыпаться? удаление хака не помогло?
я могу посмотреть, если дадите админку и ПМА

Razielik · 18.07.2014, 16:03 **Вверх**

Подведу итоги экспериментов:

1) сделал дамп всех таблиц базы
2) создал пустую базу с другим именем и влил туда дамп таблиц
3) позже перевел базы с InnoDB на MyISAM

Пока ошибок не наблюдаю (много раз "тьфу" через плечо). Возможно именно вливом дампа в новую базу вправило мозг всем таблицам.

Остался лишь неприятный глюк с непоявлением курсора при клике в окне редактора сообщений. По этому вопросу я пока ничего не нашел. =)

Дабы по возможности предотвратить глюки БД в будущем, у меня пара вопросиков:

1) Полезна ли оптимизация такого вида

mysqlcheck --user=<логин> --password=<пароль> --extended --auto-repair --check --optimize --all-databases

и как автоматизировать это действие так, чтобы в момент оптимизации никто не подключался к форуму (то бишь к БД)?

2) Правильно ли срабатывает отключение MySQL в нижеследующем случае

mysqladmin -u<логин> -p<пароль> shutdown

то есть не повредится ли БД при таком отключении, если в момент отключения к ней шло обращение?

P.S.: Огромное человеческое спасибо вам, Luvilla за терпение такого нуба как я =) Но хотелось бы как-нибудь позже проконсультироваться у вас насчет перекодировки с "моего" шведского на нормальный utf8.

Luvilla · 18.07.2014, 16:12 **Вверх**

Сообщение от Razielik

Полезна ли оптимизация такого вида

Оставьте в покое оптимизацию
просто поверьте... форумы живут годами безо всяких принудительных "оптимизаций" и великолепно себя чувствуют

Сообщение от Razielik

Но хотелось бы как-нибудь позже проконсультироваться у вас насчет перекодировки с "моего" шведского на нормальный utf8.

Вы прекрасно умеете следовать инструкциям
вот неплохой мануал по перекодировке: Руководство по решению проблем с кодировками

Только будьте осторожны
закроете форум, снова сделаете копию рабочей БД средствами ПМА, потом будете проводить операции с базой
главное: чтобы у Вас всегда лежала копия БД, нетронутая перекодировками
удалить всегда успеете)

Razielik · 18.07.2014, 18:36 **Вверх**

А насчет отключения? Просто у меня почти все автоматизировано, и сервер раз в определенное время перезагружается, делая бэкапы.

P.S.: Теперь меня курсор доконает.

Надо тыкнуть раз 10, чтоб он появился.

Luvilla · 18.07.2014, 19:59 **Вверх**

Сообщение от Razielik

Теперь меня курсор доконает.

Вы ж в основном юзаете Оперу, а в ней глюка с курсором - нет))

начните с вёрстки, поправьте хотя бы ошибки в постбите
а то там их валится столько на странице, что в них можно утонуть)

потом надо смотреть, что со скриптами и аяксами