Дело в том, что у меня не везде материал с терминами словаря - есть просто тип материала новость или фото, или видео - они без словарей. Как мне в таком случае быть?

Не знаю. В каждом типе материала есть одно одинаковое поле "Населенный пункт", который имеет свой ID, т.е. мне нужно как-то настроить контекстные фильтры и отношения, что бы на страницах отображался только материал, который относится только к данному нас. пункту (получается, что все материалы содержат ID населенного пункта и вот как-то по этому полю, ну или по самому ID и нужно отфильтровать материал)
Я пытаюсь сделать, но пока у меня выводятся все статью всех нас. пунктов на странице.

А по существу. Как настроить фильтр, что бы на странице отображались только ноды определенного населенного пункта т. е. группы?

В том то и дело, что город не термин, а тип материала (группа), а остальное - контент группы.

Я делаю с помощью Panelizer-а, а он присутствует только на типах материала и словарях, но не на терминах этих словарей.

Возможно город - термин это решение всех проблем, но это полностью нужно все переделывать.