Конструктивно ракета состоит из четырех частей; приборного (головного) и хвостового отсеков, боевой части, маршевого двигателя.
В приборном отсеке носовая часть закрыта пластиковым обтекателем, здесь помещается активная радиолокационная головка самонаведения (PR-53/DSQ-28). Далее находятся блок инерциального наведения, за ним радиовысотомер (AN/APN-194), передающая антенна высотомера и преобразователь электропитания. Головка самонаведения обеспечивает поиск, захват и наведение на цель. Для защиты от средств радиоэлектронного подавления значение ее рабочей частоты меняется по случайному закону. Обзор пространства осуществляется при помощи фазированной антенной решетки дисковой формы, которая может поворачиваться в пределах +45° в вертикальной и горизонтальной плоскостях. Головка самонаведения включается на заданном участке траектории полета и начинает поиск цели в соответствии с командами, поступающими с программируемого блока сканирования.
Активная радиолокационная головка самонаведения (ГСН), обладающая высокой разрешающей способностью, работает в диапазоне 15,3-17,2 ГГц (масса 34 кг, импульсная мощность 35 кВт). Дальность обнаружения эскадренного миноносца с вероятностью 0,95 при полете ракеты на малой высоте и волнении моря 5 баллов составляет 40 км в ясную погоду и 23 км в дождливую, а ракетного катера - 18 и 10 км соответственно.
Блок инерциального наведения на начальном и маршевом участках траектории полета (масса 11 кг) состоит из двух основных частей; бескарданного инерциального устройства и цифровой ЭВМ. Это устройство включает три гироскопа и три акселерометра, а также другие приборы управления и наведения, измеряющие изменения пространственной ориентации ракеты. ЭВМ общего назначения IBM-4PSP-OA с объемом постоянного запоминающего устройства 7680 16-разрядных слов и оперативным устройством с произвольной выборкой (емкость 512 слов) выполняет функции автопилота, осуществляя управление полетом ракеты на начальном и маршевом участках в соответствии с заданной оператором программой, сигналами инерциального устройства и радиовысотомера. Она обеспечивает также управление ракетой по сигналам ГСН на конечном участке траектории полета после захвата цели.
Короткоимпульсный радиолокационный высотомер производит замеры высоты полета ракеты над уровнем моря, при этом данные поступают в автопилот, который контролирует установленную высоту полета. Передающая антенна радиовысотомера расположена на нижней поверхности фюзеляжа под приборным отсеком, а приемная - под секцией боевой части.
В отсеке боевой части (масса 230 кг, длина 0,9 м) размещается обычный фугасный заряд в бронированном корпусе, предотвращающем его разрушание при встрече с бронированной преградой. БЧ снабжена исполнительно-предохранительным механизмом, взрывателем ударного действия и неконтактным взрывателем.
В отсеке маршевого двигателя установлены топливный бак и маршевый турбореактивный двигатель (ТРД). Топливный бак содержит около 50 кг жидкого горючего JP-5, используемого для работы двигателя. Для вытеснения топлива применяется пружинный сильфон. В передней части отсека находятся две серебряноцинковые батареи (масса 9 кг), которые обеспечивают электропитанием бортовые приборы и активируются перед пуском ракеты. Маршевый ТРД J402-CA-400 (масса 44 кг, длина 76,2 см, тяга 273 кгс) имеет одноступенчатую турбину и центробежный компрессор, а также кольцеобразную камеру сгорания. Запуск двигателя производится с помощью пиростартера, при этом менее чем через 7 с частота вращения ротора достигает 41 000 об/мин. Двигатель обеспечивает полет с крейсерской скоростью 270-290 м/с (М=0,8-0,85), хотя возможен полет с предельной скоростью 374 м/с (М-1,1). ТРД надежно работает на высотах до 12200 м, С наружной стороны отсека расположены воздухозаборник и консоли крыла.
Хвостовой отсек включает механизмы и приводы четырех рулей управления, а также опорное кольцо, к которому с помощью четырех разрывных болтов крепится стартовый ускоритель. По сигналам автопилота механизмы через приводы обеспечивают поворот рулей на +30°.
Существенным отличием авиационных ракет "Harpoon" AGM-84 от других вариантов является отсутствие твердотопливного стартового ускорителя, благодаря чему у них меньше стартовая масса и длина. Ускоритель (масса 137 кг, масса топлива 66 кг, тяга 6600 кгс) крепится с помощью разрывных пироболтов к опорному кольцу корпуса ПКР, время его работы 2-3 с, он разгоняет ракету до скорости М=0,75. На нем расположены неподвижные аэродинамические стабилизаторы.