zer0cool, вероятно у тебя проблема с железом. Для начала осмотри свою материнскую плату, нет ли на ней вздувшихся конденсаторов, они выглядят так:
Если такие есть, то тебе грозит замена материнской платы. Также такое может быть на видеокарте, в блоке питания - соответственно замена видеокарты или блока питания
Если все конденсаторы нормальные, то смотрим далее:
Проверь работу охлаждения на видеокарте, может чип перегревается при использовании 3D (в безопасном режиме видеокарта почти не работает, там 256 битные цвета и отключено 3D ускорение)
Пропылесось весь комп от пыли. Если все нормально, то видимо придется переставлять систему (но это маловероятно так как в 99% описанные проблемы из-за железа)