Попробуй теста ради записать тот же рабочий стол не на NVENC, а на x264 (силами ЦП, а не ГП). Если всё норм — возможно, что-то не то с видеодрайвером, имеет смысл попробовать его переустановить или поменять на более старый при помощи DDU.
На видео типичные артефакты сжатия, но по настройкам их вроде как быть не должно. В то же время, я лично пишу сейчас всякое через Shadowplay (или GFE, как удобно), у меня 50Mbps стоит и всё неплохо, но карта 2060. Драйвер при этом как раз не последний: установлен 430.86, предлагаемый актуальный 431.36.
На видео типичные артефакты сжатия, но по настройкам их вроде как быть не должно. В то же время, я лично пишу сейчас всякое через Shadowplay (или GFE, как удобно), у меня 50Mbps стоит и всё неплохо, но карта 2060. Драйвер при этом как раз не последний: установлен 430.86, предлагаемый актуальный 431.36.