少しはまったのでメモ。OpenCVはMacPortsからインストール済みです。
方法
.proファイルに以下を追加。
LIBS += -L/opt/local/lib/ \
-lopencv_core \
-lopencv_imgproc \
-lopencv_highgui
INCLUDEPATH += /opt/local/include
DEPENDPATH += /opt/local/include
必要に応じてライブラリを追加。Terminalで
cd /opt/local/lib/
ls | grep opencv
とかやればOpenCVのライブラリの一覧が取得できます。