все равно воспроизводится ас3 на другом языке, который есть в файле mkv.

Вообще то Вы смотрели, что конкретно получается на выходе транскодера? В транскодере можно отключить использование кэша и файл будет складываться на диск, там можно посмотреть, что получается. Подозреваю, что все звуковые дорожки транскодируются в выбранный Вами формат, теперь надо на устройстве выбрать нужную дорожку. Кроме этого, если в параметрах устройства есть поддержка указанного формата и стоит опция не транскодировать, если формат поддерживается, то транскодирования вообще не будет. Попробуйте выяснить, какие форматы поддерживаются устройством и в индивидуальных настройках устройства в основных настройках оставить в поддержке файлов без транскодирования только поддерживаемые форматы. Вообще нужно внимательно посмотреть все настройки. Есть и тонкости, например, во многих профилях, при определённых условиях идёт применение другого профиля и так может быть последовательно несколько раз, это можно увидеть в скриптах профилей транскодирования.