GCP Interconnect

GCP Interconnect 부분에서 개선이 필요해 내용 정리해봄.

개요

온프레미스 네트워크와 VPC 네트워크 간 물리적인 연결(중간에 Partner사를 낄 수도 있다). 내부 IP로 온프레미스와 GCP 네트워크 간 통신이 가능해짐. 일반적인 GCP 리소스 뿐만 아니라 외부 IP가 없는 비공개 GCP 리소스(예를 들어 Cloud SQL)에도 접근이 가능하다.

두 네트워크 간 통신이 필요하다면 VPN을 생각 할 수 있지만 대규모 트래픽을 고려하고 있다면 Interconnect를 선택하는 것이 좋다. VPN은 암호화 후 공개 인터넷을 거쳐 트래픽이 전달되기 때문에 아무래도 느릴 수 밖에 없다.

Interconnect 연결

GCP Interconnect 연결 방식은 두 가지가 존재한다. Dedicated Interconnect와 Partner Interconnect인데 간단하게 설명하면 Dedicated는 Google과 직접 연결하는 것이고 Partner는 Google과 온프레미스 사이에 파트너사를 끼는 것이다. Partner사를 끼우는 방식이 존재 하는 이유는 Dedicated 방식에 제한 조건이 몇 가지 있기 때문인데, 이 조건을 만족하지 못할 경우 Partner사를 끼운다고 생각하면 쉽다. 자세한 내용은 뒤에서 작성.

VLAN

VLAN - https://ko.wikipedia.org/wiki/가상_랜

우리가 GCP에서 사용하는 네트워크는 VPC로 Google 네트워크의 격리된 공간을 할당 받아 사용하는 것이기 때문에 Google 네트워크와 온프레미스 네트워크 간의 물리적인 연결만으로는 Interconnect 연결이 완료되었다 할 수 없다. 즉, Google과 온프레미스 간 네트워크 연결 후 Google 네트워크 내 VPC와 온프레미스 네트워크 간의 논리적인 연결이 추가로 필요한 것이다. 그래서 VLAN 설정을 해주어야 한다.

VLAN 설정은 VPC에 연결되어 있는 Cloud Router와 물리적으로 연결한 Interconnect를 지정해주면 된다. (Dedicated 방식과 Partner 방식에 약간의 차이는 있긴 한데 뒤에서 설명하겠음.) 이렇게 하면 Cloud Router에서는 각 지점 간 BGP 세션을 설정한다.

여기서 BGP(Border Gateway Protocol)란 AS(Autonnomous System)간의 연결을 위한 프로토콜로 AS는 동일한 정책을 가지고 있고 하나의 관리자에 운영되는 네트워크를 말한다. 보통 AS는 AS내 위치하는 Router들에 대한 경로 정보를 가지고 있기 때문에 외부 AS와 통신하려면 경로 정보를 교환하는 BGP를 사용해야 한다.

Interconnect에서는 Google AS와 온프레미스 AS간 통신을 해야하기 때문에 BGP 세션을 생성한 것이다.

Cloud Router

Cloud Router 개요 - https://cloud.google.com/network-connectivity/docs/router/concepts/overview?hl=ko

위에서 설명 한 것처럼 Cloud Router는 BGP를 이용해 VPC 네트워크 - 온프레미스 네트워크 간 경로를 동적으로 교환한다.

이때 BGP의 구성은 어떤 계층에서 연결을 하는지에 따라 다른데 먼저 가능한 연결 방식은

• Dedicated 방식 - Layer 2
• Partner 방식 - Layer2, Layer3

이렇게 존재한다.

VLAN은 물리적으로 연결되어 있고 내부적으로 내부 통신을 목표로 하기 때문에 Layer 3 연결을 할 필요는 없다. 하지만 Partner 방식일 경우 Layer 3 연결을 고려 할 수 있는데, 다음과 같은 차이점이 있다.

• Layer 2 연결 방식은 Partner사의 네트워크를 거쳐가기만 한다. 즉, BGP 세션은 Cloud Router와 온프레미스 Router 사이에 구성된다.
• Layer 3 연결 방식은 Cloud Router와 Partner사 Router 사이에 BGP 세션이 구성되고 트래픽을 Partner사 네트워크가 받아서 목적지로 라우팅한다. 이때 Partner사와 온프레미스간 연결은 Partner사 마다 다르다.

여기서 Layer 3 방식의 경우 Cloud Router와 Partner사 Router간 BGP 설정이 사전에 구성되어 있고 자동화되어 있기 때문에 사전 활성화 기능을 사용 할 수가 있다. 사전 활성화를 사용했을 때와 그렇지 않았을 때의 연결 프로세스는 다음과 같다.

• 기본: VLAN 연결 생성 → Partner사와 온프레미스간 연결 → VLAN 활성화
• 사전활성화: VLAN 연결 생성 → Partner사와 온프레미스간 연결

참고로 이 글에서 Partner사는 사용자의 Partner사가 아니라 Google의 Interconnect Partner사를 말한다. 그렇기 때문에 이 Partner사들은 사전에 GCP와 연결 가능한 코로케이션 시설에 이미 물리적인 연결이 되어 있는 상태이다.

Dedicated Interconnect

Dedicated Interconnect는 Google과 온프레미스 네트워크를 직접 연결하는 방식이다. 연결 위치는 구글에서 지정해준 코로케이션 시설에서만 가능하다.

• 코로케이션 시설 목록

목록을 보면 그냥 일반적인 IDC 위치와 업체 목록이 나와 있는데 구글은 이 IDC 내 라우팅 장비를 보유하고 있다. 그렇기 때문에 Google과 Dedicated Interconnect를 하고 싶다면 아래 두 가지 조건 중 하나를 만족해야 한다.

• 위 목록에 존재하는 IDC에서 네트워크를 운영해야함.
• 위 목록에 존재하는 IDC에서 운영 중이 아니라면 위 운영중인 IDC에서 위 IDC까지 전용선을 뚫어야 함.

어찌 되었든 Google이 지정한 IDC에 라우팅 장비만 존재하면 된다.

만약 Google이 지정해준 IDC에서 운영중이 아니고 전용선을 뚫을 수도 없다면 Partner 방식을 사용해야 한다. Partner사는 이미 Google과 물리적인 연결이 되어 있기 때문에 조직에서는 Partner사에 전용선을 연결하면 된다. 당연한 얘기지만 Partner사는 네트워크 회사이기 때문에 전용선 작업도 같이 해준다.

위 위치적인 조건 외에도 네트워크 기기의 기술적인 조건도 살펴봐야 한다. 위치 조건을 만족하더라도 아래 조건을 만족하지 못하면 Partner 방식을 고려해야 한다.

• 10Gbps 회선, 단일 모드 광섬유, 10GBASE-LR(1,310nm), 또는 100Gbps 회선, 단일 모드 광섬유, 100GBASE-LR4
• IPv4 링크- 로컬 주소 지정
• LACP
• EBGP-4
• 802.1Q VLAN

위 이미지는 Dedicated Interconnect에 대한 다이어그램이다. 보면 코로케이션 시설에서 Peering edge와 On-prem Router가 연결된 것을 볼 수 있다. 저 상태에서 VLAN을 만들어 Cloud Router와 연결하면 Cloud Router는 On-prem Router와 BGP 세션을 만들고 서로 동적 경로를 공지해준다.

Dedicated Interconnect를 만들기 위해서는 먼저 Console에서 실제 연결을 생성 해 새 Dedicated Interconnect를 주문한다. 그러면 Google에서 확인 이메일을 전송한 뒤 포트를 할당하게 되는데 포트 할당이 완료되면 다시 이메일로 LOA-CFA란 것을 보내준다. 이 LOA-CFA는 주문서라고 생각하면 된다. IDC 센터에가서 대뜸 Google과 네트워크를 연결할거다라고 하면 당연히 안해주기 때문에 이 LOA-CFA를 가지고 가서 “나는 Google과 네트워크를 연결할 권한이 있다”라는 것을 보여줘야 한다.

연결이 되었다면 테스트를 진행한다. 테스트 진행 순서는

1. Google에서 온프레미스 라우터에 대한 포트 광신호 확인 (24시간 마다 폴링해서 확인함.)
2. 확인되면 온프레미스 라우터를 핑할 때 사용되는 IP주소를 이메일로 전달함.
3. 해당 이메일로 온프레미스 라우터의 인터페이스를 구성하고 LACP도 구성.
   1. LACP는 Link Aggregation Control Protocol의 약자로 연결되어 있는 여려 물리적 포트(링크)를 논리적으로 묶는 기술.
   2. Google에서는 단일 링크라도 LACP를 구성하라고 가이드하고 있음.
4. Google은 위 IP주소를 핑하는데 주기는 광신호 감지 후 30분후에 한 번, 이후에 24시간 마다 핑한다. (연결 확인 시 메일 보내고 멈춤)

위 경우는 단일 링크였을 때의 순서인데, 다중 링크일 경우 테스트를 두 번 진행한다.

• 첫 테스트
  • 이메일로 IP를 회선 수 만큼 전달 받는다.
  • LACP 없이 개별 테스트 진행
• 두 번째 테스트
  • 이메일로 IP를 한 개만 전달 받는다.
  • LACP를 적용한 상태에서 테스트 진행

아마 Interconnect를 연결할 때 IDC의 운영팀?에 라우터 설정을 요청하게 될 것인데 이때 이 내용을 전달하면 된다.

• 테스트용 온프레미스 기기 구성

위 과정을 전부 끝내면 이제 VLAN을 구성 할 수 있게 된다. 먼저 Cloud Router를 구성하고 Interconnect 연결에 VLAN 연결을 생성 후 Cloud Router를 연결 하면 된다.

Partner Interconnect

Dedicated Interconnect에서 몇 가지 제약 사항이 있다고 설명했는데 현재 상황에서 조건들을 만족 할 수 없다면 Partner사를 고려 할 수 있다. Partner사는 GCP Interconnect Partner사로 지정된 서비스 업체로 이미 Google과 물리적인 연결을 가지고 있는 상태에서 IDC - Partner - 주문사 사이의 연결을 도와준다. 이 Partner업체는 보통 네트워크 전문 업체이기 때문에 Partner사와 주문사 사이의 연결은 대부분 알아서 처리해준다. (모든 것을 처리해주는 것은 아니다. 가이드 정도라고 생각하자.)

위 이미지 처럼 파트너 사와 Google은 사전에 연결이 되어 있는 상태이고 우리는 Partner사와 작업만 하면 된다.

작업 순서는 Partner사와 온프레미스 네트워크를 연결 한 뒤 GCP에서 VLAN을 구성해 페어링 키를 받고 그 키를 서비스 제공업체와 공유 해 Partner사에서 VLAN 연결을 구성하면 끝이난다. 만약 VLAN 구성 시 사전 활성화를 해놓지 않았다면 마지막에 Console에서 활성화까지 해주어야 한다.

• 페어링 키
• VLAN는 여러 주문자들과 Google 네트워크 연결을 구성하고 있다. 그렇기 때문에 주문자의 네트워크(VPC/Cloud Router)를 식별 할 수 있는 무언가가 필요한데 이때 사용 할 수 있는게 이 페어링 키이다. 때문에 이 페어링 키가 있어야 Partner사에서 VLAN 연결을 진행 할 수 있다.

위 순서 중 VLAN 구성 시 여러가지 설정 정보들이 필요하다.

• Cloud Router : ASN(망 식별 번호) 16550에 속하는 VPC 네트워크와 리전에 있는 Cloud Router만 선택 가능하다. ASN 16550은 Google 네트워크 망 식별 번호이다. https://bgpview.io/asn/16550
• MTU : MTU(Maximum Transmission Unit)는 최대 전송 단위로 Layer 간 전송할 수 있는 데이터의 최대 값이다. 만약 이 값을 넘는 데이터가 전달 될 경우 저 크기 만큼 쪼개서 전달(헤더 포함)하게 된다. VPC 생성 시 이 값을 설정 했을 것인데 온프레미스 VM과 다른 라우터의 MTU도 같은 값으로 설정되어야 한다.

위 Cloud Router에서 Partner 사는 Layer3 연결을 할 수 있다고 했는데 이 것도 Partner사에서 지원이 되어야 한다. 지원 여부는 아래 링크를 참고하면 된다(서울에 있는 Partner사들은 Layer 2 연결만 지원하는 것을 볼 수 있다.)

• https://cloud.google.com/network-connectivity/docs/interconnect/concepts/service-providers?hl=ko개요두 네트워크 간 통신이 필요하다면 VPN을 생각 할 수 있지만 대규모 트래픽을 고려하고 있다면 Interconnect를 선택하는 것이 좋다. VPN은 암호화 후 공개 인터넷을 거쳐 트래픽이 전달되기 때문에 아무래도 느릴 수 밖에 없다.GCP Interconnect 연결 방식은 두 가지가 존재한다. Dedicated Interconnect와 Partner Interconnect인데 간단하게 설명하면 Dedicated는 Google과 직접 연결하는 것이고 Partner는 Google과 온프레미스 사이에 파트너사를 끼는 것이다. Partner사를 끼우는 방식이 존재 하는 이유는 Dedicated 방식에 제한 조건이 몇 가지 있기 때문인데, 이 조건을 만족하지 못할 경우 Partner사를 끼운다고 생각하면 쉽다. 자세한 내용은 뒤에서 작성.VLAN - https://ko.wikipedia.org/wiki/가상_랜VLAN 설정은 VPC에 연결되어 있는 Cloud Router와 물리적으로 연결한 Interconnect를 지정해주면 된다. (Dedicated 방식과 Partner 방식에 약간의 차이는 있긴 한데 뒤에서 설명하겠음.) 이렇게 하면 Cloud Router에서는 각 지점 간 BGP 세션을 설정한다.Interconnect에서는 Google AS와 온프레미스 AS간 통신을 해야하기 때문에 BGP 세션을 생성한 것이다.Cloud Router 개요 - https://cloud.google.com/network-connectivity/docs/router/concepts/overview?hl=ko이때 BGP의 구성은 어떤 계층에서 연결을 하는지에 따라 다른데 먼저 가능한 연결 방식은
  • Dedicated 방식 - Layer 2
  • Partner 방식 - Layer2, Layer3
  이렇게 존재한다.
  • Layer 2 연결 방식은 Partner사의 네트워크를 거쳐가기만 한다. 즉, BGP 세션은 Cloud Router와 온프레미스 Router 사이에 구성된다.
  • Layer 3 연결 방식은 Cloud Router와 Partner사 Router 사이에 BGP 세션이 구성되고 트래픽을 Partner사 네트워크가 받아서 목적지로 라우팅한다. 이때 Partner사와 온프레미스간 연결은 Partner사 마다 다르다.
  여기서 Layer 3 방식의 경우 Cloud Router와 Partner사 Router간 BGP 설정이 사전에 구성되어 있고 자동화되어 있기 때문에 사전 활성화 기능을 사용 할 수가 있다. 사전 활성화를 사용했을 때와 그렇지 않았을 때의 연결 프로세스는 다음과 같다.
  • 기본: VLAN 연결 생성 → Partner사와 온프레미스간 연결 → VLAN 활성화
  • 사전활성화: VLAN 연결 생성 → Partner사와 온프레미스간 연결
  참고로 이 글에서 Partner사는 사용자의 Partner사가 아니라 Google의 Interconnect Partner사를 말한다. 그렇기 때문에 이 Partner사들은 사전에 GCP와 연결 가능한 코로케이션 시설에 이미 물리적인 연결이 되어 있는 상태이다.Dedicated Interconnect는 Google과 온프레미스 네트워크를 직접 연결하는 방식이다. 연결 위치는 구글에서 지정해준 코로케이션 시설에서만 가능하다.
  • 코로케이션 시설 목록
  목록을 보면 그냥 일반적인 IDC 위치와 업체 목록이 나와 있는데 구글은 이 IDC 내 라우팅 장비를 보유하고 있다. 그렇기 때문에 Google과 Dedicated Interconnect를 하고 싶다면 아래 두 가지 조건 중 하나를 만족해야 한다.
  • 위 목록에 존재하는 IDC에서 네트워크를 운영해야함.
  • 위 목록에 존재하는 IDC에서 운영 중이 아니라면 위 운영중인 IDC에서 위 IDC까지 전용선을 뚫어야 함.
  어찌 되었든 Google이 지정한 IDC에 라우팅 장비만 존재하면 된다.위 위치적인 조건 외에도 네트워크 기기의 기술적인 조건도 살펴봐야 한다. 위치 조건을 만족하더라도 아래 조건을 만족하지 못하면 Partner 방식을 고려해야 한다.
  • 10Gbps 회선, 단일 모드 광섬유, 10GBASE-LR(1,310nm), 또는 100Gbps 회선, 단일 모드 광섬유, 100GBASE-LR4
  • IPv4 링크- 로컬 주소 지정
  • LACP
  • EBGP-4
  • 802.1Q VLAN
  연결이 되었다면 테스트를 진행한다. 테스트 진행 순서는
  1. Google에서 온프레미스 라우터에 대한 포트 광신호 확인 (24시간 마다 폴링해서 확인함.)
  2. 확인되면 온프레미스 라우터를 핑할 때 사용되는 IP주소를 이메일로 전달함.
  3. 해당 이메일로 온프레미스 라우터의 인터페이스를 구성하고 LACP도 구성.
     1. LACP는 Link Aggregation Control Protocol의 약자로 연결되어 있는 여려 물리적 포트(링크)를 논리적으로 묶는 기술.
     2. Google에서는 단일 링크라도 LACP를 구성하라고 가이드하고 있음.
  4. Google은 위 IP주소를 핑하는데 주기는 광신호 감지 후 30분후에 한 번, 이후에 24시간 마다 핑한다. (연결 확인 시 메일 보내고 멈춤)
  위 경우는 단일 링크였을 때의 순서인데, 다중 링크일 경우 테스트를 두 번 진행한다.
  • 첫 테스트
    • 이메일로 IP를 회선 수 만큼 전달 받는다.
    • LACP 없이 개별 테스트 진행
  • 두 번째 테스트
    • 이메일로 IP를 한 개만 전달 받는다.
    • LACP를 적용한 상태에서 테스트 진행
  아마 Interconnect를 연결할 때 IDC의 운영팀?에 라우터 설정을 요청하게 될 것인데 이때 이 내용을 전달하면 된다.
  • 테스트용 온프레미스 기기 구성
  위 과정을 전부 끝내면 이제 VLAN을 구성 할 수 있게 된다. 먼저 Cloud Router를 구성하고 Interconnect 연결에 VLAN 연결을 생성 후 Cloud Router를 연결 하면 된다.Dedicated Interconnect에서 몇 가지 제약 사항이 있다고 설명했는데 현재 상황에서 조건들을 만족 할 수 없다면 Partner사를 고려 할 수 있다. Partner사는 GCP Interconnect Partner사로 지정된 서비스 업체로 이미 Google과 물리적인 연결을 가지고 있는 상태에서 IDC - Partner - 주문사 사이의 연결을 도와준다. 이 Partner업체는 보통 네트워크 전문 업체이기 때문에 Partner사와 주문사 사이의 연결은 대부분 알아서 처리해준다. (모든 것을 처리해주는 것은 아니다. 가이드 정도라고 생각하자.)위 이미지 처럼 파트너 사와 Google은 사전에 연결이 되어 있는 상태이고 우리는 Partner사와 작업만 하면 된다.
  • 페어링 키
  • VLAN는 여러 주문자들과 Google 네트워크 연결을 구성하고 있다. 그렇기 때문에 주문자의 네트워크(VPC/Cloud Router)를 식별 할 수 있는 무언가가 필요한데 이때 사용 할 수 있는게 이 페어링 키이다. 때문에 이 페어링 키가 있어야 Partner사에서 VLAN 연결을 진행 할 수 있다.
  위 순서 중 VLAN 구성 시 여러가지 설정 정보들이 필요하다.
  • Cloud Router : ASN(망 식별 번호) 16550에 속하는 VPC 네트워크와 리전에 있는 Cloud Router만 선택 가능하다. ASN 16550은 Google 네트워크 망 식별 번호이다. https://bgpview.io/asn/16550
  • MTU : MTU(Maximum Transmission Unit)는 최대 전송 단위로 Layer 간 전송할 수 있는 데이터의 최대 값이다. 만약 이 값을 넘는 데이터가 전달 될 경우 저 크기 만큼 쪼개서 전달(헤더 포함)하게 된다. VPC 생성 시 이 값을 설정 했을 것인데 온프레미스 VM과 다른 라우터의 MTU도 같은 값으로 설정되어야 한다.
  위 Cloud Router에서 Partner 사는 Layer3 연결을 할 수 있다고 했는데 이 것도 Partner사에서 지원이 되어야 한다. 지원 여부는 아래 링크를 참고하면 된다(서울에 있는 Partner사들은 Layer 2 연결만 지원하는 것을 볼 수 있다.)
  • https://cloud.google.com/network-connectivity/docs/interconnect/concepts/service-providers?hl=ko
• 작업 순서는 Partner사와 온프레미스 네트워크를 연결 한 뒤 GCP에서 VLAN을 구성해 페어링 키를 받고 그 키를 서비스 제공업체와 공유 해 Partner사에서 VLAN 연결을 구성하면 끝이난다. 만약 VLAN 구성 시 사전 활성화를 해놓지 않았다면 마지막에 Console에서 활성화까지 해주어야 한다.
• 
• Partner Interconnect
• Dedicated Interconnect를 만들기 위해서는 먼저 Console에서 실제 연결을 생성 해 새 Dedicated Interconnect를 주문한다. 그러면 Google에서 확인 이메일을 전송한 뒤 포트를 할당하게 되는데 포트 할당이 완료되면 다시 이메일로 LOA-CFA란 것을 보내준다. 이 LOA-CFA는 주문서라고 생각하면 된다. IDC 센터에가서 대뜸 Google과 네트워크를 연결할거다라고 하면 당연히 안해주기 때문에 이 LOA-CFA를 가지고 가서 “나는 Google과 네트워크를 연결할 권한이 있다”라는 것을 보여줘야 한다.
• 위 이미지는 Dedicated Interconnect에 대한 다이어그램이다. 보면 코로케이션 시설에서 Peering edge와 On-prem Router가 연결된 것을 볼 수 있다. 저 상태에서 VLAN을 만들어 Cloud Router와 연결하면 Cloud Router는 On-prem Router와 BGP 세션을 만들고 서로 동적 경로를 공지해준다.
• 만약 Google이 지정해준 IDC에서 운영중이 아니고 전용선을 뚫을 수도 없다면 Partner 방식을 사용해야 한다. Partner사는 이미 Google과 물리적인 연결이 되어 있기 때문에 조직에서는 Partner사에 전용선을 연결하면 된다. 당연한 얘기지만 Partner사는 네트워크 회사이기 때문에 전용선 작업도 같이 해준다.
• Dedicated Interconnect
• VLAN은 물리적으로 연결되어 있고 내부적으로 내부 통신을 목표로 하기 때문에 Layer 3 연결을 할 필요는 없다. 하지만 Partner 방식일 경우 Layer 3 연결을 고려 할 수 있는데, 다음과 같은 차이점이 있다.
• 위에서 설명 한 것처럼 Cloud Router는 BGP를 이용해 VPC 네트워크 - 온프레미스 네트워크 간 경로를 동적으로 교환한다.
• Cloud Router
• 여기서 BGP(Border Gateway Protocol)란 AS(Autonnomous System)간의 연결을 위한 프로토콜로 AS는 동일한 정책을 가지고 있고 하나의 관리자에 운영되는 네트워크를 말한다. 보통 AS는 AS내 위치하는 Router들에 대한 경로 정보를 가지고 있기 때문에 외부 AS와 통신하려면 경로 정보를 교환하는 BGP를 사용해야 한다.
• 우리가 GCP에서 사용하는 네트워크는 VPC로 Google 네트워크의 격리된 공간을 할당 받아 사용하는 것이기 때문에 Google 네트워크와 온프레미스 네트워크 간의 물리적인 연결만으로는 Interconnect 연결이 완료되었다 할 수 없다. 즉, Google과 온프레미스 간 네트워크 연결 후 Google 네트워크 내 VPC와 온프레미스 네트워크 간의 논리적인 연결이 추가로 필요한 것이다. 그래서 VLAN 설정을 해주어야 한다.
• VLAN
• Interconnect 연결
• 온프레미스 네트워크와 VPC 네트워크 간 물리적인 연결(중간에 Partner사를 낄 수도 있다). 내부 IP로 온프레미스와 GCP 네트워크 간 통신이 가능해짐. 일반적인 GCP 리소스 뿐만 아니라 외부 IP가 없는 비공개 GCP 리소스(예를 들어 Cloud SQL)에도 접근이 가능하다.