Ну, нет же.
Во-первых, нет, оно буквально не обучено имитировать нас. В разных областях использования его обучают разным штукам, "имитировать нас" — такого вообще нет. Ну, или я не знаю и не представляю, где такое есть. Типа месяцами чисто тест Тьюринга надрачивают.
Во-вторых, даже там, где оцениваем результаты исключительно мы, и нейронка подстраивается под наши оценки — сильно играет роль буквально другая архитектура и другой ход процесса. Метафорически (очень примитивно и грубо) — психопат может отлично научиться тому, что в общействе одобряемо, а что нет. И симулировать нормального члена общества успешнее, чем большинство этих самых нормальных. Но физиологически он всё еще останется психопатом, и это вполне можно будет выявить. Не метафорически, скажем, у языковых моделей — базовая единица в виде токена, то, как они генерируют ответ "слово за словом" и т.д. Иногда вот прямо видно по ходу "общения", где проблемные места, будто буквально с больним общаешься, можно даже попробовать поставить диагноз)
А уж если речь идёт о каких-то объективных факторах оценки (победить в игре, успешнее пилотировать дрон) — тем более. Скажем, когда нейронки выигрывали у чемпионов в ту же Доту, они совсем не под кожаных мешков играли, насколько я понял.