Обозначим д - доллары, е - евро, р - рубли.

Если из десяти монет хотя бы один доллар, то остальные 9 монет - это евро и рубли, т.е. е+р=9

Если из девяти монет хотя бы один евро, то остальные 8 монет - это доллары и рубли, т.е. д+р=8

Если из восьмии монет хотя бы один рубль, то остальные 7 монет - это евро и доллары, т.е. е+д=7

Решаем систему из трёх уравнений:

е+р=9

д+р=8

е+д=7

Вычтем из первого уравнения второе:

е-д=1 - прибавляем к нему третье уравнение:

2е=8

е=4

Тогда

4+д=7

д=3

4+р=9

р=5

Наибольшее количество монет, которое может быть в мешке д+е+р=3+4+5=12