Rozpatrując instalację pompy ciepła trzeba przemyśleć wybór odpowiedniego rodzaju ogrzewania wodnego. Optymalnym rozwiązaniem jest funkcjonowanie pompy ciepła przy możliwie wysokiej temperaturze gruntu lub powietrza oraz przy możliwie niskich temperaturach zasilania układu grzejnego budynku. Najczęściej wybiera się ogrzewanie podłogowe, które funkcjonuje już przy parametrach zasilania około 40 stopni. Wytwarza ono idealny rozkład temperatur dla użytkownika – temperatura podłogi jest wyższa przy obniżonej temperaturze na wysokości głowy. Podczas ciepłych miesięcy system ogrzewania podłogowego może być stosowany do obniżania temperatury pomieszczeń. Innym rodzajem ogrzewania wodnego, który idealnie współpracuje z pompą ciepła jest ogrzewanie płaszczyznowe montowane w płaszczyźnie ściany lub sufitu. Systemy kolektorów instaluje się najczęściej w ścianach zewnętrznych obok otworów okiennych. Na sufit wykorzystuje się maty kapilarne lub kolektory grzewczo-chłodzące.
Jeśli nie ma możliwości zainstalowania systemu niskotemperaturowego podczas budowania domu, istnieją urządzenia, które można zainstalować w późniejszym czasie. Z pompą ciepła idealnie współdziałają klimakonwektory. Montowane są one na ścianie jak powszechne kaloryfery. Ich podstawową część stanowi element grzejny wraz z wentylatorem, który tworzy cyrkulację. Nadają się do systemów niskotemperaturowych w trakcie chłodnych miesięcy oraz do obniżania temperatury pomieszczenia podczas lata. Wykorzystanie pompy ciepła nie przekreśla zastosowania tradycyjnych kaloryferów, jednak powinny one zostać dopasowane adekwatnie do niskiej temperatury zasilania. Rozmiarowo będą one znacznie większe niż przy tradycyjnym systemie ogrzewania. Użytkowanie ich w instalacji z pompą ciepła nie zapewni ochładzania domu podczas lata.