작은 한걸음

Axios Jwt RefreshToken 중복요청

걸음마 개발자 — Sun, 4 Feb 2024 17:23:21 +0900

1. 문제

Client는 모든 Axios 요청에 대해서 Access Token을 Header에 추가하여 요청을 진행합니다.

만약 Access Token이 없거나 만료가 되었을 경우 Cookie에 저장되어 있는 Refresh Token을 이용하여 Access Token을 갱신받아 요청들을 다시 재요청하는 방법으로 구현되어 있습니다.

Axios의 비동기 방식의 요청에서 문제가 발생하게 되었습니다. Access Token이 만료된 상태에서 Axios를 이용하여 3개의 요청을 보낼경우 Refresh Token 갱신 요청또한 3번이 발생하는 것입니다.

2. 문제 순서도

실재 동작하는 순서입니다. 우리가 생각한 순서는 1번요청을 하고 1번 요청에서 Access Token이 만료가 된다면 Refresh 토큰을 통해 Access Token을 갱신하고 그다음 2번 요청과 3번 요청을 진행하여 2번과 3번은 Refresh 요청없이 결과를 받아오는 과정을 생각하였을 것입니다.

혹시 위 순서도에서 1, 2, 3번 순서로 요청했는데 왜 응답은 1, 2, 3 순으로 응답이 오지 않지 할 수 있다. Axios는 비동기로 요청을 보내기 때문에 순서대로 요청을 보내도 Server에서 먼저 처리된 응답을 먼저 전달하여 응답 순서가 달라질 수 있습니다.

3. 문제 해결 방법

문제를 해결하는 방법은 많이있을 것 입니다. 그 중 저는 Memoize라는 Library를 이용하여 이 문제를 해결하고자 합니다.

Memoize Library를 이용한 방법은 설정한 시간안에 같은 Function을 호출하면 Cache되어 있는 값을 반환하는 방식을 취할 수 있습니다.

즉 1, 2, 3번 요청을 진행 2번요청이 가장 먼저 응답되어 Refresh 요청을 보내게 되면 1, 3번 요청은 동일 한 Refresh 요청을 하는 함수를 호출하지만 실제 요청에 대한 결과 값은 Cache된 값에서 전달 받게 되므로 Server로 요청은 진행하지 않게됩니다.

4. 해결 과정

npm을 통한 설치
npm install memoize
----------------------
yarn을 통한 설치
yarn add memoize

먼저 memoize를 설치 합니다.

export let refreshToken = async () => {
  try{
		// 토큰이 만료되어 갱신요청을 하는 부분
    return http.post('/refresh-token');
  } catch (e) {
		// 오류 발생 시 필요한 조치 추가
  }
}

기존 Access Token을 갱신하기 위해 요청하는 부분의 함수입니다.

export let memoizeRefreshToken = memoize(async () => {
  try{
		// 토큰이 만료되어 갱신요청을 하는 부분
    return http.post('/refresh-token');
  } catch (e) {
    // 오류 발생 시 필요한 조치 추가
  }
}, {maxAge: 1000});

이걸 memoize를 통해 함수 결과 Cache가 가능하도록 변경하였습니다. 2번째 파라미터의 maxAge는 해당 함수의 Cache되는 시간을 설정하는 것으로 예시에는 1초로 설정하였습니다.

instance.interceptors.response.use(
  (response) => {
    return response;
  },
  async (error) => {
    if(error.response.status !== 401){
      //401이 아닌경우 Axios Reject
			return Promise.reject(error);
		}
		
		await memoizeRefreshToken().then((result) => {
			// 특정 저장소에 accessToken 저장
	    localStorage.setItem('accessToken', result.accessToken);
			// 재요청에는 신규로 발급 받은 AccessToken이 추가
      error.config.headers['Authorization'] = 'Bearer ' + result.accessToken;
    });

		// 401로 응답받은 요청에 대한 재요청을 시도
    return instance.request(error.config);
  });

이번에는 Access Token의 갱신 요청을 하는 부분을 확인 해보겠습니다. Axios의 Interceptor를 이용하여 Error에 대한 응답을 Interceptor합니다. 그리고 Error Code가 401인지 확인 401이 아니라면 Reject시키도록 구성되어 있습니다.

401이라면 memoize가 되는 memoizeRefreshToken 함수를 호출합니다. 그리고 응답으로 받은 Access Token을 특정 저장소에 저장 시키고 재요청을 위해 Header에 Access Token을 추가합니다. 마지막으로 첫 요청에 대한 재요청을 진행하여 마무리하게 됩니다.

5. 해결 결과

위 요청 순서를 보면 최초 3개의 Axios 요청을 진행하였으며 3개 모두 401응답이 온 것을 확인 할 수 있습니다. 하지만 Access Token Refresh 요청은 딱 1번만 요청된 것을 확인할 수 있습니다. 이후 3개의 요청은 모두 신규로 발급받은 Access Token을 이용하여 재요청을 진행하였습니다.

이것으로 Axios Jwt Refresh 중복 요청 해결 과정에 대한 설명을 마치도록 하겠습니다.

[Web] Web Server 과 Web Application Server

걸음마 개발자 — Thu, 21 Apr 2022 03:48:16 +0900

이 글은 혼자 학습한 내용을 바탕으로 작성되었습니다.

틀리거나 잘못된 정보가 있을 수 있습니다.

댓글로 알려주시면 수정하도록 하겠습니다.

1. 정적 페이지와 동적 페이지

Web Server와 WAS(Web Application Server)가 나누어진 이유는 바로 정적 페이지와 동적 페이지를 담당하도록 역할을 분리하였기 때문입니다.

정적 페이지
정적 페이지는 이름에서 유추할 수 있는 것처럼 변화가 없이 동일한 페이지를 의미합니다.
즉 동일한 URL을 통해 페이지를 요청하면 항상 같은 페이지를 응답하는 페이지를 의미합니다.
대표적인 페이지로는 이미지, Javascript파일, CSS파일 등이 있습니다.
동적 페이지
동적 페이지는 정적 페이지의 반대로 변화하여 서로 다른 페이지를 의미합니다.
즉 동일한 URL을 통해 페이지를 요청하더라도 인자, Session 등 여러 데이터에 의해 서로 다른 내용의 페이지를 의미합니다.
대표적인 페이지로는 JSP 등이 있습니다.

동적 페이지 예시

티스토리의 관리자 페이지에 접속하면 우측 상단에 닉네임이 출력됩니다.

이 HTML 파일이 정적 페이지라면 해당 HTML 파일은 티스토리 회원 수만큼 존재할 것입니다.

홍길동_상단. html, 명탐정_상단. html.....처럼 말이죠

하지만 이 경우는 아주 비 효율적입니다. 겨우 닉네임이 다른 것 하나 때문에 html 파일이 수천 개 수만 개가 되기 때문입니다.

그래서 하나의 html 파일을 생성하고 닉네임이 들어가는 부분은 로그인한 회원정보를 DB로부터 조회하여 html의 닉네

임 Tag에 닉네임을 동적으로 작성한 파일을 동적 페이지라고 합니다.

2. Web Server

웹 서버는 Client의 정적 페이지 요청에 응답을 하며 동적 페이지 요청인 경우 요청을 WAS로 전달하는 2가지 기능을 수행합니다.

Client가 Web Server의 정적 페이지인 이미지 자원 1을 요청한 경우 Web Server는 자원 1을 응답하여 자원 1을 Client로 전달합니다.

Web Server로는 아파치, NGINX, IIS 등이 있습니다.

3. Web Application Server

WAS는 Client가 동적 페이지를 요청하고 Web Server를 통해 요청이 전달됩니다. 그럼 WebContainer에 해당 URL을 담당하는 Servlet이 있는지 확인을 합니다.

Servlet이 존재한다면 해당 Thread를 생성하고 해당 Thread에서 Servlet의 Service를 수행하도록 합니다.

Servlet이 존재하지 않는다면 Servlet 객체를 생성하고 Thread를 생성하여 Servlet의 Service를 수행하도록 합니다.

WebContainer는 Servlet들을 싱글톤으로 관리하므로 이미 생성되어 있는 Servlet들은 추가로 생성하지 않고 재사용합니다.

WAS로는 톰켓, 제우스, JBoss 등이 있습니다.

4. Web Server와 WAS 분리 이유

서버의 부하 분산
정적 페이지를 담당하는 Web Server를 앞단에 둠으로써 정적 페이지 응답 속도를 향상할 수 있습니다.

WAS의 경우 DB나 Redis 등 외부 서버들과 통신하며 많은 작업들을 수행합니다. 만약 WAS에서 정적 페이지 요청까지 담당하게 된다면 동적 페이지의 응답 속도가 지연될 수 있습니다.
보안 향상
http 통신의 경우 암호화가 전혀 되지 않은 상태로 통신이 진행됩니다.
암호화된 통신을 위해 SSL을 이용한 https 통신을 이용합니다. 그런데 암호화는 비용이 아주 큰 작업이므로 이 작업을 WAS에서 담당하기에는 부담 있어 단순한 정적 페이지 응답을 담당하는 Web Server에서 SSL의 암복호화를 담당하도록 합니다.
Load Balancing
하나의 Web Server에 여러 WAS를 연결하여 특정 WAS에 부하가 급증하면 Web Server는 이후 요청을 부하의 여유가 있는 다른 WAS로 요청하여 부하를 분산할 수 있도록 합니다.

[Slack] SpringBoot Interactivity Message 전송

걸음마 개발자 — Sat, 9 Apr 2022 17:26:53 +0900

이 글은 혼자 학습한 내용을 바탕으로 작성되었습니다.

틀리거나 잘못된 정보가 있을 수 있습니다.

댓글로 알려주시면 수정하도록 하겠습니다.

1. Interactivity Message란

Interactivity Message

Interactivity Message란 상호 작용이 가능한 Message입니다. 즉 Slack의 메시지에서 Input, TextArea, Button과 같이 메시지를 통해 상호작용이 가능한 Message입니다.

이번 포스팅에서는 이 Interactivity Message를 SpringBoot에서 전송하고 해당 Message에서 입력 값들을 전달받아 활용해보고자 합니다.

2.Webhook URL

이전 포스팅을 통해 Slack의 Webhook URL을 받았습니다. Interactivity Message 또한 이 Webhook URL을 통해 Message를 전달하고 사용자가 원하는 URL로 Message의 입력값 등 여러 데이터를 받아보고자 합니다.

Webhook과 관련된 정보는 이전 글에 작성되어 있으므로 모르시는 분들께서는 이전 글을 먼저 읽어보시는 것을 추천드립니다.

3. Interactivity Message 설정

좌측 메뉴에서 Interativity & Shortcuts 메뉴로 이동을 합니다.

이후 화면의 우측 상단의 Toggle 버튼을 클릭하여 On으로 활성화를 진행합니다.

활성화가 되면 하단에 Request URL이 생성됩니다. 여기에 Message에 대한 결과를 돌려받고자 하는 URL을 입력하면 됩니다.

예를 들어 'http://example.com/slack/request'와 같이 작성하면 됩니다.

이것으로 Slack에서의 Interactivity Message를 사용할 준비는 완료가 되었습니다.

4. SpringBoot에서 Interactivity Message 전송

이전 글에서 Webhook을 통해 Message를 전달할 때 Json 포맷을 이용하여 Text 값을 전달하면 해당 값의 Text가 Message로 전달되었습니다.

Interactivity Message도 동일합니다. Interactivity Message를 구성하는 정보들을 Json 포맷으로 전달만 하면 Slack에서는 해당 포맷을 파싱 하여 Message로 만들어 표시해주는 것입니다.

Slack에서는 이러한 Element를 Block이라고 부르며 Block들을 모아 하나의 Message를 구성하게 됩니다.

Block에 대한 여러 설명은 Slack Block api 이곳에 더 자세히 설명되어 있습니다.

또한 Slack Block Builder에 접속하시면 직접 Interactivity Message를 구성해 볼 수 있습니다.

SpringBoot에서 Slack api 사용을 위해 의존성을 추가하여야 합니다.

implementation 'com.google.code.gson:gson:2.8.6'

implementation 'com.squareup.okhttp3:okhttp:4.2.0'

implementation 'com.slack.api:slack-app-backend:1.6.2'
implementation 'com.slack.api:slack-api-model:1.6.2'
implementation 'com.slack.api:slack-api-client:1.6.2'

위 5개의 의존성을 추가합니다.

다음 Slack에 전송하고자 하는 Message를 구성하는 Block들을 Array에 담아 Webhook으로 전달합니다.

Message를 구성할 Block들을 Blocks의 asBlocks메소드로 Array로 반환받습니다.

asBlocks 메소드

Blocks.asBlocks(
	slackUtils.getHeader("Interavitity Message"),
	slackUtils.getSection("Slack Message 테스트"),
	Blocks.divider(),
	slackUtils.getTextInput("제목", "block_title"),
	slackUtils.getTextArea("내용", "block_content"),
	Blocks.actions(slackUtils.getConfirmButtonBlocks())
);

이제 SlackUtils에서 각각의 Block을 만드는 메소드를 살펴보겠습니다.

Block은 Builer와 Lambda를 이용하여 생성할 수도 있습니다.

Header Block을 생성 메소드입니다.

public HeaderBlock getHeader(String text) {
	return Blocks.header(h ->
		h.text(plainText(pt ->
			pt.emoji(true).text(text)
		))
	);
}

public HeaderBlock getHeader(String text) {        
	return HeaderBlock.builder()
			.text(PlainTextObject.builder()
					.text(text)
					.emoji(true)
					.build())
			.build();
}

Section Block을 생성 메소드입니다.

Section은 HTML의 P 태그와 비슷합니다.

public SectionBlock getSection(String message) {
	return Blocks.section(s -> 
		s.text(BlockCompositions.markdownText(message))
	);
}

public SectionBlock getSection(String message) {
	return SectionBlock.builder()
			.text(MarkdownTextObject.builder()
					.text(message)
					.build())
			.build();
}

TextArea Block을 생성 메소드입니다.

Input Block의 경우 CallBack 된 Message에서 값을 찾아오기 위해 BlockId를 지정해 주어야 합니다.

만약 지정해주지 않으면 Random으로 배정되기 때문에 값을 찾는 과정이 복잡해집니다.

public InputBlock getTextArea(String labelText, String actionId){
	InputBlock inputBlock = Blocks.input(i -> 
		i.element(BlockElements.plainTextInput(pti ->
			pti.actionId(actionId).multiline(true))
		).label(plainText(labelText)));

	inputBlock.setBlockId(actionId);

	return inputBlock;
}

public InputBlock getTextArea(String labelText, String actionId){
	return InputBlock.builder()
			.element(PlainTextInputElement.builder()
					.actionId(actionId)
					.multiline(true)
					.build())
			.label(PlainTextObject.builder()
					.text(labelText)
					.build())
			.blockId(actionId)
			.build();
}

Input Block을 생성 메소드입니다.

public InputBlock getTextInput(String labelText, String actionId){
	InputBlock inputBlock = Blocks.input(i ->
    i.element(BlockElements.plainTextInput(pti ->
    	pti.actionId(actionId)
	)).label(plainText(labelText)));

	inputBlock.setBlockId(actionId);

	return inputBlock;
}

public InputBlock getTextInput(String labelText, String actionId){
	return InputBlock.builder()
		.element(PlainTextInputElement.builder()
			.actionId(actionId)
			.build())
		.label(PlainTextObject.builder()
			.text(labelText)
			.build())
		.blockId(actionId)
		.build();
}

ActionButton Block 생성 메소드 입니다.

먼저 Button Group을 생성하기 위해 Array로 Button들을 생성

public List<BlockElement> getConfirmButtonBlocks() {
	List<BlockElement> actions = new ArrayList<>();
	actions.add(getActionButton("전송", "submit", "primary", "callback_submit"));
	return actions;
}

public BlockElement getActionButton(String plainText, String value, String style, String actionId) {
	return BlockElements.button(b ->
    	b.text(plainText(plainText, true))
			.value(value)
			.style(style)
			.actionId(actionId));
}

public BlockElement getActionButton(String plainText, String value, String style, String actionId) {
	return ButtonElement.builder()
		.text(PlainTextObject.builder()
			.text(plainText)
			.emoji(true)
			.build())
		.value(value)
		.style(style)
		.actionId(actionId)
		.build();
}

위 과정으로 만들어진 Block Array를 전송

Slack.getInstance().send("Slack Webhook URL", WebhookPayloads.payload(p -> p.blocks(<만든 Block Array>)));

Slack.getInstance().send("Slack Webhook URL", Payload.builder().blocks(<만든 Block Array>).build());

위 send 메소드를 통해 Message를 전송한 결과 Slack에는 Block으로 만든 Message가 도착하게 됩니다.

5. Slack Message Callback

이제 위 Message에서 입력항목에 입력 후 전송 버튼을 누른 경우 해당 값들을 App에서 받아보는 것을 설명하도록 하겠습니다.

Interactivity & Shortcut에서 설정한 Request URL을 통해 Interactivity Message 결과가 전달 됩니다.

결과는 POST메소드로 JSON이 전달되므로 Controller에서는 @RequestParam으로 JSON String 값을 받아 옵니다.

@PostMapping("/slack/callback")
public ResponseEntity<Boolean> slackCallBack(@RequestParam String payload) {
	notificationService.sendResponseMessage(payload);
	return ResponseEntity.ok(true);
}

JSON String을 Slack의 BlockActionPayload 객체로 Mapping 합니다.

public BlockActionPayload getPayload(String payloadJson){
	return GsonFactory.createSnakeCase().fromJson(payloadJson, BlockActionPayload.class);
}

BlockActionPayload객체에 Input, TextArea 값들은 ViewState 객체의 values 속성에 담겨있습니다. 그러므로 해당 속성에 접근하여 가져와야 합니다.

BlockActionPayload Class

ViewState Class

결과가 담겨있는 Map<String, Map<String, Value>>에 결과 값들이 들어있습니다.

첫번째 Map은 BlockId를 Key값으하는 Block이 있습니다.

두번째 Map은 Block의 Element의 ActionId를 Key값으로 하는 Element가 있습니다.

Test Message로 사용할 Block들을 생성합니다.

Block 생성

전송 Slack Message

Debug모드로 확인한 Payload values 입니다.

결과 처럼 첫번째 Map은 block_input1, block_input2 를 Key값으로 가지고 있습니다.

각각의 Map의 Element인 두번째 Map은 input, textarea를 Key값으로 가지고 있습니다.

두번째 Map의 value에는 ViewState 객체가 있으며 이 객체의 value값이 바로 Message에서 입력한 값이 들어있는 것을 확인할 수 있습니다.

그러므로 Slack의 Callback에서 입력된 값을 가져오려면 Payload 객체에서 ViewState의 values 속성값에 있는 Map에서 BlcokId와 ActionId를 통해 해당 Element에 접근하여 value를 가져올 수 있습니다.

[Slack] SpringBoot Slack Message 전송

걸음마 개발자 — Thu, 7 Apr 2022 01:35:51 +0900

이 글은 혼자 학습한 내용을 바탕으로 작성되었습니다.

틀리거나 잘못된 정보가 있을 수 있습니다.

댓글로 알려주시면 수정하도록 하겠습니다.

1. Slack App 생성

SpringBoot App에서 Slack으로 Message를 전달하기 위해서는 먼저 Slack에 App을 생성해야 됩니다.

Slack Api 홈페이지에 접속합니다. 우측 상단의 Your App을 클릭하여 App 화면으로 진입합니다.

이후 화면에서 Create New App을 클릭하여 App생성을 실행합니다.

Modal창에서는 From scratch를 클릭하여 App 생성을 진행합니다. 다음 Modal 창에서는 App의 이름과 Slack의 workspace를 선택합니다. 모두 작성이 완료되었다면 우측 하단의 Create App을 클릭합니다.

App 생성이 완료가 되었다면 좌측 Menu에서 Incoming Webhooks 메뉴 화면으로 이동합니다.

Webhooks화면에서 이제 Webhook을 활성화합니다. 우측 Toggle 버튼을 클릭하여 On으로 활성화합니다.

활성화가 완료되면 하단에 Webhook을 통해 Slack으로 Message를 전달하는 방법에 대한 설명화 함께 Workspace에 신규 Webhook을 등록하는 버튼이 있습니다. 이 버튼을 클릭하여 Webhook을 생성합니다.

이제 Slack의 Workspace에 연동할 채널을 선택하고 허용을 진행하면 됩니다.

채널과의 연동이 완료되면 신규로 생성된 Webhook의 URL 정보와 함께 curl을 통한 Message전달 방법 예제가 만들어집니다.

지금까지 작업을 통해 Slack으로 Message를 전달하기 위한 Slack의 연동 작업은 완료가 되었습니다.

2. SpringBoot에서 Slack으로 Message 전송

SpringBoot에서 Slack으로 Message를 전송하려면 위 Sample에 대한 설명에도 볼 수 있는 것처럼 Slack으로부터 받은 Webhook URL로 Message정보를 JSON 타입으로 POST 메소드 전송을 하면 연동한 채널에 Message가 전송되는 것을 알 수 있습니다.

먼저 SpringBoot에서 /slack/test URL로 요청을 받으면 Post Slack이라는 Message가 Slack에 전송되는 코드를 작성하였습니다.

코드를 잠깐 설명하자면 Slack에서의 예시와 동일하게 RestTemplate 객체를 생성하고 postForObject를 통해 Post 메소드 요청으로 Json을 전달하는 것 입니다.

postForObject의 첫번째 파라미터는 Slack으로 부터 받은 Webhook URL을 작성하여 주면 되며 두번째 파라미터로는 Message가 될 정보를 전달해야 되므로 Map으로 필요한 정보를 담아 전달 하였습니다.

마지막 파라미터는 responseType으로 String으로 전달 받기위해 String 클래스를 전달 합니다.

이제 Slack의 채널로 이동하면 생성한 App의 이름과 'Posting Slack'의 메시지가 전달된 것을 확인할 수 있습니다.

다음 포스팅에서는 Slack의 Interactive Message를 전달하는 방법을 알아보도록 하겠습니다.

[ElasticSearch] Windows 설치 및 실행

걸음마 개발자 — Thu, 7 Apr 2022 00:48:27 +0900

이 글은 혼자 학습한 내용을 바탕으로 작성되었습니다.

틀리거나 잘못된 정보가 있을 수 있습니다.

댓글로 알려주시면 수정하도록 하겠습니다.

1. ElasticSearch 다운로드

이번 포스팅에서는 Windows 버전을 기준으로 설명을 진행 하도록 하겠습니다. Linux/Unix의 경우는 명령어를 통해서 설치가능 합니다.

ElasticSearch 다운로드 주소로 이동합니다.

OS에 맞는 ElasticSearch를 선택 합니다.

이후 아래 버튼을 클릭하여 원하는 위치에 압축파일을 다운로드 받습니다.

다운로드가 완료되면 ElasticSearch의 다운로드는 완료 됩니다.

2. ElasticSearch 설치

압축을 풀고 폴더 구성을 확인하면 위 이미지 처럼 폴더가 구성되어 있습니다.

bin 폴더로 이동하여 ElasticSearch의 배치파일을 실행시키면 이걸로 ElasticSearch의 설치도 완료 됩니다.

배치파일 실행 방법은 2가지가 있습니다.

가장 쉬운 방법인 해당 배치파일을 더블클릭하여 실행하는 방법과 cmd에서 명령어를 통해 실행하는 방법이 있습니다.

검색 > cmd 입력 > 명령 프롬프트(cmd) 실행 > 다운받은 ElasticSearch의 압축을 푼 폴더의 bin 폴더로 이동 > elasticsearch.bat 입력 후 enter 이 방법으로 실행할 수 있습니다.

3. 설치 확인

위 과정을 통해 ElasticSearch를 정상 설치하였다면 웹 브라우저를 통해 실행되고 있는 ElasticSearch 기본 정보를 받아 볼 수 있습니다.

http 프로토콜 접속 시도

7.X 버전 이전에는 Security가 적용되지 않아 HTTP 프로토콜을 통해서도 접속이 가능 하였지만 7.X 버전 이후 Security가 적용된 경우는 HTTP 프로토콜로 접속 시도 시 차단되어 접속이 불가능 하며 cmd 창에 로그 'received plaintext http traffic on an https channel, closing connection Netty4HttpChannel'가 출력됩니다.

ElasticSearch를 실행하고 HTTPS 프로토콜을 이용하여 접속하면 위 이미지 처럼 로그인 요청을 받습니다.

최초 ElasticSearch 실행 시 ID와 비밀번호를 알려주지만 이후 실행 시 cmd창에 출력되지 않습니다.

파란색 밑줄은 ID이며 빨간색 밑줄은 이번 ElasticSearch에서만 유효한 비밀번호 입니다. ElasticSearch를 재 실행하면 비밀번호는 변경 됩니다.

매 실행 시 비밀번호는 변경 되므로 이 비밀번호를 설정해 주어야 합니다.

이제 위 ID와 비밀번호를 웹 브라우저 로그인에 입력하여 접속을 확인할 수 있습니다.

로그인을 완료하면 위 처럼 버전 정보 등을 확인할 수 있습니다.

[Travis] Notification Slack 연동

걸음마 개발자 — Fri, 25 Mar 2022 16:48:40 +0900

이 글은 혼자 학습한 내용을 바탕으로 작성되었습니다.

틀리거나 잘못된 정보가 있을 수 있습니다.

댓글로 알려주시면 수정하도록 하겠습니다.

1. Travis Notification Slack 연동

Travis를 사용중이시라면 아마 기본적으로 Email을 연동하여 사용중 이실거라 생각합니다.

Travis의 경우 Email이 아닌 Slack을 이용하여 Notification을 전달 받을 수 있습니다. 이번 포스팅에서는 Travis Notification을 Slack과 연동하는 방법에 대해 알려드리고자 합니다.

이미 Slack을 사용중이시면 Slack에 로그인 후 Slack App Directory에 접속합니다. 만약 Slack을 처음 사용하시는 분은 Slack에 회원가입후 Slack App Directory에 접속 합니다.

App Directory에 접속 후 검색란에 Travis를 검색하여 Travis APP에 접속 합니다.

접속 후 좌측의 Slack에 추가 버튼을 클릭하여 Slack에 Travis App을 추가 합니다.

특정 채널을 선택하는 화면이 출력되면 연동을 진행하고자 하는 채널을 선택하여 Travis CI 통합 앱 추가 버튼을 클릭 합니다.

설명 지침과 함깨 Token을 할당 받습니다. (Token은 <슬랙도메인>:<travis token>형태로 할당)

notifications:
  email:
    recipients:
      - email@address.com
  slack: <슬랙도메인>:<travis token>

이제 연동을 진행하고자 하는 프로젝트의 .travis.yml 파일의 notifications 속성에 slack을 추가하면 됩니다.

여기까지가 Travis와 Slack을 연동하는 과정이였습니다. 그러나 이 과정보다 중요한 보안관련 과정이 하나 남아있습니다.

.travis.yml파일의 경우 Github와 같은 저장소에 Commit을 하거나 하여 공개가 될 수 있습니다. 이럴 경우 Slack의 Token이 노출되어 보안에 문제가 발생할 수 있습니다. 그래서 <슬랙도메인>:<travis token>값을 암호화 하여야 합니다.

Token암호화

token 암호화를 위해서는 travis-cli를 사용할 것입니다.

먼저 Window경우 RubyInstaller를 설치하여 Ruby를 사용할 수 있도록 합니다.

(최신버전을 다운받아도 되며 다른 버전을 다운받으셔도 상관 없습니다.)

다운로드 받은 설치파일을 실행하여 설치를 진행합니다.

ruby -v

설치가 완료되면 cmd를 실행하여 ruby -v 명령어를 입력하여 설치된 루비 버전이 정상 출력되는지 확인합니다.

gem install travis

이제 cmd에 gem install travis 명령어를 입력하여 travis를 설치 합니다.

설치가 완료되었다면 이제 travis를 이용하여 login을 진행합니다. 기존 Login 방식으로 로그인시 ID, Password를 통한 Login이 Deprecated 되었다는 경고가 출력 됩니다.

※ 로그인의 경우 2020-07-30일 이전에는 GitHub의 ID와 Password로 로그인이 가능 하였지만 2020-07-30일 이후로는 GitHub와 연동되는 모든 Access가 Token으로 변경되었습니다.

로그인을 위해 GitHub로 부터 Token을 발급 받고 해당 Token을 이용하여 로그인을 진행합니다.

travis login --com --github-token <발급받은Token값>

cmd에 travis login --com --github-token <발급받은 Token값>명령을 입력하여 login을 수행합니다.

로그인이 성공적으로 되면 Successfully logged in as '사용자명'이 출력됩니다.

cd <이동하고자하는 Directory명>

이제 암호화를 위하여 cmd의 현재 폴더 위치를 Slack과 연동하고자 하는 Project위치로 이동합니다.

travis encrypt "<슬랙도메인>:<travis token>" --add notifications.slack --com

이동완료 후 설명 지침에 있는 자격증명 암호화 부분을 복사하여 붙여넣은 뒤 마지막에 --com을 붙여 실행합니다.

실행을 하면 .travis.yml파일에 slack의 secure 값이 추가된 yml의 모습이 출력됩니다.

그리고 변경여부를 입력합니다. 이때 y를 입력하면 .travis.yml파일에 slack과 관련된 값들이 자동적으로 적용됩니다.

Slack으로 돌아가 Notification이 정상적으로 출력된 것을 확인할 수 있습니다.

[Redis] Redis란 무엇인가?

걸음마 개발자 — Mon, 21 Mar 2022 23:23:07 +0900

이 글은 혼자 학습한 내용을 바탕으로 작성되었습니다.

틀리거나 잘못된 정보가 있을 수 있습니다.

댓글로 알려주시면 수정하도록 하겠습니다.

1. Redis

Redis는 인 메모리 Key, Value 데이터 구조의 스토리지입니다. 디스크나 SSD에 데이터를 저장하는 DB 시스템과 다르게 메모리에 데이터가 상주함으로 디스크 액세스 과정이 없어 데이터에 빠르게 액세스 할 수 있습니다.

2. Redis 특징

Redis는 Single Thread로 구성
Redis는 Single Thread로 구성되어 있어 Race Condition이 발생할 가능성이 낮습니다.
즉 여러 Thread가 데이터에 수정을 위해 경합하여 데이터의 정합성이 깨질 가능성이 낮습니다.
Redis는 Atomic을 보장
Redis의 Collection들은 Atomic을 보장합니다. 하지만 사용자의 실수로 인해 Race Condition이 발생할 수 도 있습니다.

3. Redis Collection 종류

Strings
가장 기본이 되는 Collection으로 하나의 Key에 하나의 Value를 저장하는 Collection
- set <Key> <Value> 기본적인 Key Value 형태로 데이터를 저장
- get <Key> Key값으로 저장되어 있는 Value값을 조회
List
Java의 List와 비슷한 Collection으로 하나의 Key에 여러 개의 Value를 저장하는 Collection
- lpush <Key> <Value> 특정 Key로 저장된 List에 가장 앞에 Value를 저장
- rpush <Key> <Value> 특정 Key로 저장된 List에 가장 뒤에 Value를 저장
- lpop <Key> 특정 Key로 저장된 List에 가장 앞에 Value를 조회 조회된 Value는 List에서 제거
- rpop <Key> 특정 Key로 저장된 List에 가장 뒤에 Value를 조회 조회된 Value는 List에서 제거
Set
Java의 Set과 비슷한 Collection으로 하나의 Key에 여러 개의 Value를 저장할 수 있지만 중복된 Value는 하나의 Value로 취급하는 Collection
- sadd <Key> <Value> 특정 Key로 저장된 Set에 Value를 저장
- smembers <Key> 특정 Key로 저장된 Set에 모든 Value값을 조회
- sismember <Key> <Value> 특정 Key로 저장된 Set에 특정 Value가 저장되어 있으면 1을 반환 없으면 0을 반환
Sorted Set
Set과 유사한 Collection이지만 스코어 값을 이용하여 정렬이 가능한 Collection
- zadd <Key> <Score> <Value> 특정 Key로 저장된 SortedSet에 Value를 저장하고 Score값으로 정렬 만약 특정 Key로 저장된 SortedSet에 Value가 이미 저장되어 있다면 Score값만 변경 변경된 Score값으로 재정렬
- zrange <Key> <StartIndex> <EndIndex> 특정 Key로 저장된 SortedSet에 StartIndex부터 EndIndex의 범위까지 저장된 모든 Value를 조회
Hash
하나의 Key에 여러 개의 SubKey(Field)와 Value를 가지는 Collection
- hmset <Key> <SubKey> <Value> <SubKey> <Value> .... <SubKey> <Value> 특정 Key로 여러 SubKey와 Value를 저장
- hgetall <Key> 특정 Key로 저장된 모든 SubKey와 Value를 조회

4. Redis 운영

Redis는 메모리를 이용하는 스토리지로 메모리 관리는 필수입니다.

메모리 관리 기본 정보

Redis는 Physical Memory 이상을 사용할 수 없다.
- Redis도 결국 서버의 가용 가능한 메모리 이상은 사용할 수 없으므로 이 이상의 메모리 사용 시 Swap을 이용합니다. Swap을 이용하면 결국 데이터를 사용하기 위해 디스크에 접근하게 되므로 성능이 느려지게 됩니다.
Maxmemory를 설정하여도 이보다 더 많은 메모리를 사용할 수도 있다.
- Redis의 경우 메모리 할당을 위해 Jemalloc을 사용합니다. 그런데 Redis의 경우 Jemalloc이 할당하여 사용하는 메모리를 정확히 알 수 없습니다. 바로 메모리 파편화 때문입니다.
- 메모리 파편화 : 메모리 파편화는 Redis가 1byte의 메모리 공간이 필요하여 Jemalloc에 1byte만큼의 메모리 공간을 요청하면 Jemalloc은 메모리의 1Page를 할당하기 때문에 Redis는 실제 1Byte를 사용하여도 메모리는 1Page를 이용하는 것과 같습니다. 만약 1Page가 100Byte면 Redis는 1Byte를 사용하지만 실제 메모리 사용은 100Byte가 되는 것입니다.
RSS 값을 지속적으로 모니터링하여야 한다.

메모리 부족 해결

메모리가 더 많은 장비로 Migration 진행
- 메모리가 더 많은 장비로 Migration을 진행하는 도중에 Error가 발생할 수 있습니다. 이유는 Migraion을 진행하기 위해 Redis는 Fork를 사용한다 이때 Fork가 되면 메모리는 현재 사용량은 2배가 되게 된다. 그럼 현재 사용량이 2GB 인대 Physical Memory가 3GB라면 Fork를 진행하면 4GB의 메모리가 필요하지만 최대 메모리는 3GB로 당연하게도 Error가 발생할 것입니다.
저장된 데이터 삭제
- 일정한 메모리 사용을 위해 저장된 데이터 중 일부를 삭제하여 관리
- 만약 Swap이 발생한 데이터가 있는 경우 불필요한 데이터를 줄인 뒤 반드시 Redis 재시작이 필요합니다. 한번 Swap이 된 데이터는 재시작을 하지 않으면 항상 Swap이 발생하므로 불필요 데이터를 삭제하여도 Swap은 여전히 발생할 확률이 높습니다.
ZipList를 이용
- ZipList는 조회 시 특정한 알고리즘을 사용하여 탐색하는 것이 아닌 선형 탐색을 이용하여 필요한 데이터를 조회하는 방법입니다. 이 경우 특별한 Collection이 필요하지 않으므로 메모리 사용량을 조금 아낄 수 있습니다.
- 선형 탐색이 가능한 이유는 In-memory 저장소 이기 때문입니다. 아주 많은 데이터가 아니면 알고리즘을 이용한 탐색과 선형 탐색의 속도 차이가 미비하기 때문에 사용이 가능한 방법입니다.

5. 명령어 사용 주의

Redis는 Single Thread로 구현되어 있습니다. 그러므로 동시에 처리 가능한 명령 또한 1개입니다.

만약 1개의 명령을 수행하는데 10초의 시간이 걸리면 Buffer에 대기 중인 다른 명령들은 10초를 기다린 이후에 처리될 것입니다.

이때 Timeout 속성이 1초로 되어 있다면 1개 명령을 수행 하는 중 나머지 명령은 모두 타임아웃이 발생하는 경우가 생기게 됩니다.

결론적으로 Redis의 경우 하나의 명령이 긴 시간이 필요한 명령은 수행해서는 안됩니다.

대표적인 명령

Keys : 저장된 모든 Key를 조회하는 명령어
Keys의 경우 Scan이라는 명령어로 대체하여 사용이 가능합니다.
get all collection : Collection의 모든 데이터를 조회
get all collection의 경우 Sorted Set의 경우 zrange를 이용하여 작은 단위로 조회
나머지 Collection의 경우 작은 단위로 Collection을 분리하여 저장하여 사용

Redis 명령 처리 과정

TCP 통신의 경우 Packet 단위로 데이터가 전송 되므로 Process Input Buffer에는 전송된 Packet들이 모이게 되고 모인 Packet을 조합하여 처리하고자 하는 데이터가 완성되면 Packet들을 조합하여 Command로 변경을 합니다.

그리고 Process Command에서 해당 Command를 처리하게 됩니다.

[AWS] Amazon Linux2 Redis 설치

걸음마 개발자 — Tue, 15 Mar 2022 18:37:39 +0900

이 글은 혼자 학습한 내용을 바탕으로 작성되었습니다.

틀리거나 잘못된 정보가 있을 수 있습니다.

댓글로 알려주시면 수정하도록 하겠습니다.

1. Redis 설치

이번 시간에는 AWS의 EC2 인스턴스(Amazon Linux2)에 Redis를 설치하는 과정을 설명하고자 합니다.

가장 먼저 아래 명령어로 yum을 update 시켜 줍니다. (최신 패키지로 업데이트를 위해서)

sudo yum update

아래 그림처럼 Complete!가 출력되면 Update가 완료된 것 입니다. (위 내용과 다른 내용이 출력되고 Complete가 출력될 수 있습니다.)

이제 Redis 설치를 위해 사용할 gcc make를 설치하여야 합니다.

아래 명령어로 yum을 통해 gcc make를 설치합니다.

sudo yum install gcc make

아래 그림처럼 Complete!가 출력되면 Install이 완료된 것 입니다. (위 내용과 다른 내용이 출력되고 Complete가 출력될 수 있습니다.)

이제 Redis의 설치 파일을 다운로드 받도록 하겠습니다.

다운로드 전 Redis를 별도의 디렉토리에서 관리하려면 디렉토리를 생성하고 해당 디렉토리에 다운로드 받으면 됩니다.

mkdir Redis

cd Redis

아래 명령어로 Redis 설치 파일을 다운로드 받습니다.

sudo wget http://download.redis.io/redis-stable.tar.gz

다운로드 후 디렉토리 내용을 확인 하는 명령어 ll을 이용하면 redis-stable.tar.gz파일이 다운로드되어 있는 것을 확인할 수 있습니다.

다운로드한 파일을 현재 압축되어 있는 파일이므로 아래 명령어를 통해 압축을 풀어줍니다.

sudo tar zxvf redis-stable.tar.gz

아래 이미지 처럼 압축을 푼 결과들이 출력됩니다.

압축 해제가 완료되면 ll명령어를 통해 해당 디렉토리 내용을 확인하면 redis-stable이라는 디렉토리가 생성된 것을 확인할 수 있습니다.

아래 명령어로 압축이 해제된 디렉토리로 이동합니다.

cd redis-stable

아래 명령어로 Makfile을 실행시켜 컴파일을 진행 합니다.

sudo make

아래 이미지 처럼 기록들이 출력되고 make가 완료됩니다.

src 폴더에 있는 redis-server 파일과 redis-cli파일을 /usr/local/bin/ 디렉토리로 복사합니다.

sudo cp src/redis-server src/redis-cli /usr/local/bin/

config 파일을 /etc/redis로 복사합니다.

sudo mkdir /etc/redis

sudo cp redis.conf /etc/redis

아래 명령어를 통해 방금 복사한 config 파일의 설정들을 변경합니다. (에디터의 경우 익숙한 에디터를 이용하여 설정을 변경하면 됩니다. vi, nano 등)

sudo vi /etc/redis/redis.conf

bind 속성은 사용자가 bind 하고자하는 IP로 변경합니다.

daemonize속성을 no에서 yes로 변경합니다. (Redis를 백그라운드에서 실행하기 위해 변경)

Redis Log 파일을 저장할 위치를 설정합니다. (daemonize를 yes로 설정하였으므로 로그 기록 파일이 필요합니다. 만약 설정하지 않으면 로그 기록이 기록되지 않습니다.)

마지막으로 Working Directory를 설정합니다.

아래 명령어로 Redis를 실행시키면 실행되는 것을 확인할 수 있습니다.

redis-server

아래 이미지 처럼 Redis version 정보와 Port PID 정보들이 출력되고 실행 됩니다.

그런대 Redis를 실행하니 다른 작업을 수행할 수가 없습니다.

만약 다른 작업을 위해 CTRL + C를 이용하여 Exit하면 Redis 서버가 종료됩니다.

그래서 Redis를 백그라운드에서 실행가능 하도록 하는 작업이 필요합니다.

2. Redis 백그라운드 실행

백그라운드 실행을 위해 아래 명령어로 redis-server를 실행하여봅니다.

sudo service redis-server start

아래 이미지 처럼 redis-server.service Unit을 찾을 수 없어 실행이 불가능 할 것입니다.

이제 백그라운드 실행을 위한 작업을 수행하겠습니다.

아래 명령어를 통해 saxenap분이 작성한 shell script 파일을 다운로드 합니다.

sudo wget https://raw.githubusercontent.com/saxenap/install-redis-amazon-linux-centos/master/redis-server

https url을 브라우저에 입력하면 해당 shell script 파일을 확인할 수 있습니다.

또는 saxenap분의 github에 들어가셔도 확인이 가능합니다.

다운로드가 완료되면 디렉토리에 redis-server라는 파일이 다운로드 됩니다.

아래 명령어로 다운받은 redis-server 파일을 /etc/init.d 디렉토리로 이동합니다.

sudo mv redis-server /etc/init.d

그리고 아래 명령어로 해당 파일에 대한 권한을 설정합니다.

sudo chmod 755 /etc/init.d/redis-server

아래 명령어로 다운받은 redis-server Script 파일의 redis 변수값을 확인 합니다.

sudo vi /etc/init.d/redis-server

그럼 아래 이미지처럼 설정된 것을 확인할 수 있습니다.

이 위치의 redis-server 파일을 설치 초기에 cp 명령어를 통해 다운받은 redis-server을 복사한 위치와 동일하여야 합니다.

확인이 완료되었다면 아래 명령어로 Auto-Enable을 설정합니다.

sudo chkconfig --add redis-server

sudo chkconfig --level 345 redis-server on

이것으로 모든 설정이 완료되었습니다.

이제 백그라운드 설정 전 수행하였던 명령어를 수행하도록 하겠습니다.

sudo service redis-server start

그럼 아래 이미지 처럼 실행이 될 것입니다.

여기서 CTRL + C를 통해 빠져나와 아래 명령어로 redis가 정상 실행되고 있는지 확인 합니다.

ps -ef | grep redis

명령어를 수행하면 아래 이미지 처럼 정상 작동중인 것을 확인할 수 있습니다.

확인의 다른 방법 cli를 이용한 방법이 있습니다. 아래 명령어를 수행하면 PONG을 출력하면 정상 작동이 되는 것 입니다.

redis-cli ping

아래 이미지 처럼 명령어 실행 결과 PONG이 출력됩니다.

[AWS] Amazon Linux2 Timezone 변경

걸음마 개발자 — Sun, 13 Mar 2022 23:46:45 +0900

이 글은 혼자 학습한 내용을 바탕으로 작성되었습니다.

틀리거나 잘못된 정보가 있을 수 있습니다.

댓글로 알려주시면 수정하도록 하겠습니다.

1. Amazon Linux2 Timezone 변경

AWS의 EC2 인스턴스 생성에서 Amazon Linux를 선택하여 인스턴스를 생성하였다면 기본 Timezone은 UTC로 설정되어 있습니다.

아래 명령어를 통해 현재 설정되어 있는 Timezone이 무엇인지 확인할 수 있습니다.

timedatectl

명령을 실행하면 아래와 같이 설정된 Timezone과 Local Time 등 시간 정보가 출력 됩니다.

현재 설정되어 있는 Timezone은 기본 Timezone인 UTC로 설정되어 있는 것을 확인할 수 있습니다.

이제 Timezone을 한국 시간의 Timezone으로 변경하도록 하겠습니다.

먼저 설정 가능한 Timezone이 무엇이 있는지 확인하는 명령어를 통해 List를 확인해 보겠습니다.

timedatectl list-timezones

명령어를 실행하면 아래와 같이 설정가능한 Timezone이 List로 출력됩니다.

아프리카와 아메리카를 넘으면 아시아가 보이고 서울이 보입니다. 바로 이 Timezone이 우리가 설정한 Timezone입니다. (아마 이미 아시는 분들이 더 많을 것으로 생각됩니다.)

sudo timedatectl set-timezone Asia/Seoul

명령어를 실행하면 간단하게 Amazon Linux2 인스턴스의 시간이 한국 시간으로 변경됩니다.

확인을 위해 'date' 명령어를 수행하면 변경된 한국 시간이 출력되는 것을 확인할 수 있습니다.

[AWS] EC2 CodeDeploy Agent 설치와 Ruby Error

걸음마 개발자 — Sat, 12 Mar 2022 18:50:32 +0900

이 글은 혼자 학습한 내용을 바탕으로 작성되었습니다.

틀리거나 잘못된 정보가 있을 수 있습니다.

댓글로 알려주시면 수정하도록 하겠습니다.

1. CodeDeploy Agent 설치

EC2 인스턴스에 CodeDeploy Agent 설치를 위해 AWS CLI를 설치한 뒤 아래 명령어를 통해 install 파일을 다운로드합니다.

aws s3 cp s3://aws-codedeploy-ap-northeast-2/latest/install . --region ap-northeast-2

정상적으로 다운로드가 완료 되었는지 확인하기 위해 아래 명령어로 현재 Directory의 list를 출력합니다.

ls -al

출력 기록에 install이라는 실행 파일이 다운로드 완료된 것을 확인할 수 있었습니다.

그리고 다운로드한 install 파일을 실행하기 위해 아래 명령어로 install 파일에 실행 권한을 부여합니다.

chmod +x ./install

실행 권한을 부여하고 아래 명령어로 install 파일을 실행하여 설치를 하려고 진행하던 중 문제가 발생하였습니다.

sudo ./install auto

위 기록 처럼 루비가 파일 또는 디렉토리를 찾을 수 없다는 오류가 발생하였고 설치가 진행되지 않았습니다.

2. 문제(ruby: No such file or directory)의 원인

위 문제가 발생하는 이유는 현재 EC2에 루비가 설치되어 있지 않아 해당 파일을 루비가 실행할 수 없기 때문에 발생하는 문제였습니다.

3. 해결 방법

원인이 바로 EC2에 루비가 설치되어 있지 않아 발생하는 문제이므로 당연히 루비를 설치하면 문제가 해결 됩니다.

아래 명령어를 통해 EC2에 루비를 설치 합니다.

sudo yum install ruby

정상적으로 루비가 다운로드 완료되었다면 다시 한번 아래 명령어를 통해 CodeDeploy-Agent를 설치합니다.

sudo ./install auto

그럼 이전에 발생하였던 ruby: No such file or directory 문제는 더 이상 발생하지 않고 정상 설치가 완료 됩니다.

설치가 완료가 되었다면 이제 정상적으로 작동이 되고 있는지 확인이 필요합니다.

아래 명령어로 현재 CodeDeploy-Agent의 상태를 확인합니다.

sudo service codedeploy-agent status

해당 명령어의 결과로 Running과 PID를 받아보면 정상적으로 설치가 완료된 것 입니다.