분류
-
Apache Kafka 서버 보안 (security)컴퓨터/Kafka 2020. 12. 30. 23:24
Kafka Apache Kafka A Distributed Streaming Platform. kafka.apache.org 1. 카프카 보안 기본 설정(PLAINTEXT)으로는 이론상, 연결된 모든 유저 및 애플리케이션이 원하는 토픽에 원하는 메시지를 전달할 수가 있다. 카프카 보안을 높일 수 있는 방법은 크게 아래 3가지가 있다. 데이터 전송 중 SSL / TLS을 통한 암호화 SSL / SASL을 통한 인증(Authentication) ACLs을 통한 인증(Authentication) 2. SSL / TLS 이 방법은 프로듀서에서 카프카, 카프카에서 컨슈머로 가는 데이터를 암호화할 수 있게 해 준다. HTTPS에서 "S"가 이와 같다. (카프카에선 주로 port 9093 SSL을 통해 이용함) 아래..
-
Python: 무료 Cloud Flask 서버 만들기 (AWS EC2 + S3)컴퓨터/파이썬 2020. 12. 26. 17:44
AWS 클라우드 서비스 | 클라우드 컴퓨팅 솔루션| Amazon Web Services 브라우저 기반 셸, 더 안전하고 손쉬운 카오스 엔지니어링, 기존 도구와 서비스의 향상된 기능 발표 내용 살펴보기 aws.amazon.com 1. 소개 AWS는 클라우드 서버를 제공해 주어서 ssh로 접속하면 가상 환경으로 서버에 접속할 수 있다. 카카오 챗봇 스킬 서버를 구름 IDE 무료 버전으로 이용하고 있으나, 인터넷 창을 닫으면 꺼진다. 터미널은 열어두기 편하고, AWS을 이용해 보고 싶어서 아래와 같은 상황을 만들 것이다. AWS S3 온라인 클라우드 만들기 (ES2 서버에서 로컬 컴퓨터 파일 sync) AWS EC2 우분투 서버 만들고 실행하기 python 가상 환경 만든 후 flask 서버 실행 2. AWS..
-
Python Kafka: Cloud Karafka 이용하기컴퓨터/Kafka 2020. 12. 24. 12:14
CloudKarafka CloudKarafka TYou will, among other things, understand how you can benefit from using Apache Kafka in your architecture and how to optimize your Kafka Cluster. www.cloudkarafka.com 1. 소개 CloudKarafka는 Google cloud나 AWS처럼 클라우드 서버를 제공하는데, Kafka 클러스터만을 위한 서버이다. 무료 버전은 최대 5개 토픽, 토픽 당 최대 10MB 데이터, 28일 데이터 보유 기간이다. (최고 옵션은 매 달 1200달러) 2. 서버 만들기 원하는 플랜으로 카프카 서버를 만든다. @플랜 링크 Plans - CloudKa..
-
-
Python: Popen 백그라운드 실행 및 로그 읽기 (linux)컴퓨터/파이썬 2020. 12. 22. 09:22
subprocess subprocess — Subprocess management — Python 3.9.1 문서 subprocess — Subprocess management Source code: Lib/subprocess.py The subprocess module allows you to spawn new processes, connect to their input/output/error pipes, and obtain their return codes. This module intends to replace several older modules and docs.python.org 1. 할 것 popen으로 서버 프로그램을 실행해서 터미널을 닫아도 종료가 안되게 만들고 (이 글에선, Apache..
-
Apache Kafka: local을 위한 명령어 인터페이스 (CLI)컴퓨터/Kafka 2020. 12. 18. 22:26
Kafka 심심해서 만들어본 툴 Apache Kafka A Distributed Streaming Platform. kafka.apache.org 참고: Hyper-V 가상환경에서 Kafka 서버 만들기 1. 소개 아직, 실행 파일로 만들거나 소스를 최적화하진 않았지만 실행 가능 상태이다. Confluent로 local 개발을 해보려고 했으나 confluent local은 매번 실행할 때마다 Kafka 데이터가 날아간다. 터미널에서 명령어로 카프카를 주로 돌리는데, 서버가 잘 실행이 된건지, 출력이 애매하고, 명령어가 길어 힘들어서 하나 만들었다. TO-DO: 최적화 기능 주키퍼 서버, 카프카 서버 실행 주키퍼 서버, 카프카 서버 종료 주키퍼 서버, 카프카 서버 로그 보기 카프카 토픽 생성/제거/목록/설..
-
Hyper-V 가상 linux/ubuntu, Kafka 서버 외부에서 접속하기컴퓨터/Kafka 2020. 12. 17. 11:54
Ubuntu 기준 자꾸 프로세스 사용 중 오류가 뜨고, confluent를 이용하기 위해 ubuntu로 서버를 만들었다. 1. Hyper-V 가상 환경 랜 설정 외부용과 내부용을 따로 만들어서 설정했다. Hyper-V 관리자 - 가상 스위치 관리자에서 새로 만들기로 외부/내부용을 만들어준다. (IP 알아서 잡아줌) 가상 스위치 만들기 Hyper-V 가상 환경 네트워크 변경 Hyper-V로 가상 환경 만드는 법은 관리자에서 새로 만들기 하고 절차만 따라 하면 금방 만들어진다. 가상 환경의 설정으로 들어가서 네트워크 어댑터를 바꿔준다. (ubuntu iso를 다운로드하여서 설치) 네트워크 공유 외부 네트워크 - 우클릭 - 공유에서 내부로 설정한 NAT으로 공유해준다. 2. 가상 환경에서 Apache Kafk..
-
Github Desktop: verified commit 만들기컴퓨터/소프트웨어 2020. 12. 16. 08:52
Windows 10 기준 1. Git bash를 열어서 gpg 키가 있는지 확인한다. gpg --list-secret-keys --keyid-format LONG 위와 같이 목록이 안 나오면, 아래 명령어로 gpg 값을 생성한다. gpg --full-generate-key Github 이름, 메일을 적고 대충 넘긴다. 2. export 맨 위 명령어 실행 후, 이메일 뒤에 나와있는 부분을 복사한다. 이 글에선, sec rsa2048/복사할 부분, 2020-12-09 gpg --armor --export 418CD... ----BEGIN ~~~ END ---, BEGIN 문자를 포함하며 전부다 복사한다. Ubuntu keyserver에 업로드 하기 gpg --keyserver keyserver.ubuntu..