@adw0rd, короче вот что нашел. Если вдруг интересно
build директива может быть использована для указания папки контекста контейнера - например можно в проекте иметь папку docker и в ней файлы Dockerfile & docker-compose.yml
И вот в compose файле указываем
build: ../
buildfile: Dockerfile
Тогда по идее файл лежит в этой же папке, а контекст на уровень ниже - все должно сработать.

docker-compose.yml reference
docker-compose.yml reference
docs.docker.com