Плохое качество при записи.

Попробуй теста ради записать тот же рабочий стол не на NVENC, а на x264 (силами ЦП, а не ГП). Если всё норм — возможно, что-то не то с видеодрайвером, имеет смысл попробовать его переустановить или поменять на более старый при помощи DDU.

На видео типичные артефакты сжатия, но по настройкам их вроде как быть не должно. В то же время, я лично пишу сейчас всякое через Shadowplay (или GFE, как удобно), у меня 50Mbps стоит и всё неплохо, но карта 2060. Драйвер при этом как раз не последний: установлен 430.86, предлагаемый актуальный 431.36.

Качество записи какое? Я на 1070 записывал геймплей дума в 4к — все как по маслу. Битрейт правда стоял 100 000 :) И весит такое чудо 1гб за каждую минуту