Первый строительный этап: к. XIII - первая четверть XIV вв.
В 1293 году, отправившись в свой третий крестовый поход, войско шведов высадилось с кораблей на побережье Финского залива в районе нынешнего Выборга. Пришельцы разорили находившееся здесь поселение карел, а также их сторожевой пункт на небольшом возвышенном островке в глубине фиорда. Оценив важное стратегическое месторасположение данной территории, шведы заложили на острове замок, и назвали его Выборгом («Святая крепость»). Тот факт, что строительным материалом служил камень (швед. «Хроника Эрика», XIV в.), свидетельствовал о том, что завоеватели пришли сюда всерьез и надолго. О первоначальном облике замка достоверных сведений и изображений не сохранилось. Однако, проведенные изыскания позволили определить, что по периметру возвышенной части острова была сооружена каменная стена с зубцами, а внутри нее четырехугольная, сложенная из гранитных валунов башня - донжон. Шведы назвали ее башней святого Олафа в честь норвежского короля, утвердившего христианство в Скандинавии.
У основания толщина оборонительной стены колебалась от 1,6 до 2 м. Высота составляла не менее 7 м. (Судя по рисунку 1703 года фортификатора Л.Стобеуса). Что касается башни св. Олафа, то первоначальная ее высота неизвестна, а толщина стен была: в подвальном этаже - 5,29 м, в первом - 4,75 м. (Замеры архитектора Я.Аренберга в 1883 году).
На территории замка в кон. XIII - XIV вв., располагались и другие постройки жилого и хозяйственного назначения, так как в нем кроме воинского гарнизона во главе с наместником шведского короля, проживали священнослужители, слуги, ремесленники, обслуживавшие этот гарнизон.
Главными обязанностями наместника были: содержание в замке войска, забота об обороноспособности его укреплений, защита границ от неприятеля, сбор податей с окрестного населения в казну короля.
На долгие годы Выборг стал основной пограничной крепостью Швеции на востоке и одновременно административным центром округа - лена. Неоднократно отправлялись отсюда на земли славян войска шведов, но и сам замок не раз видел под своими стенами стенобитные орудия, пламя пожарищ, слышал шум битв, крики нападавших.
Под защитой замковых стен на противоположном полуострове возникло торгово-ремеспенное поселение. Посетивший Выборг король Эрик XIII Померанский, своей грамотой от 19 августа 1403 года, даровал ему официальные права города.