분류
-
Apache Kafka Connect 사용해보기컴퓨터/Kafka 2021. 1. 7. 13:34
Kafka Connect Apache Kafka A Distributed Streaming Platform. kafka.apache.org 1. Kafka Connect란 Apache Kafka Connect란, http://, sql server, mysql, syslog, csv, json 등 소스 데이터를 Kafka에 전송한 후 (source) 데이터를 변형 후 mongoDB, elasticserach, mysql, postgres, hadoop 등으로 데이터를 쉽게 보내는 역할을 한다. (sink) ex) RDBMS -> Kafka Connect -> Kafka -> Kafka Connect -> Amazon S3, HDFS ex) 애플리케이션 카프카 -> Kafka Connect -> 데이터 저..
-
Golang: Nested structs to JSON (중첩 struct Json만들기)컴퓨터/Go language 2021. 1. 3. 18:45
Struct안에 anonymous 구조체나 구조체를 계속 중첩해서 만들 수 있다. 하지만 이 방식은 점점 익명 구조체가 많아질수록 코딩이 길어지고 힘들다. 그래서 익명 구조체를 쓰지 않고 하나하나 모델을 다 만들어서 사용하는 게 일반적이다. 1. 중첩 익명 구조체 type Nested struct { Hello struct { Inside string `json:"inside"` } `json:"hello"` Bye string `json:"bye"` } // 메인 함수 func main() { var data Nested data = Nested{ Hello: struct { Inside string `json:"inside"` }{Inside: "hello"}, Bye: "world", } b, _ ..
-
Golang: gin으로 카카오 챗봇 서버 만들기컴퓨터/Go language 2021. 1. 1. 22:57
gin gin-gonic/gin Gin is a HTTP web framework written in Go (Golang). It features a Martini-like API with much better performance -- up to 40 times faster. If you need smashing performance, get yourself some Gin. - ... github.com 카카오 챗봇 Python으로 만들기 링크 카카오 챗봇 Rust언어로 만들기 링크 카카오 챗봇 예제 서버 Python FastAPI 소스 링크 카카오 챗봇 풀 예제 Github 링크 1. gin gin은 Python의 Flask, FastAPI처럼 웹 서버를 만들 수 있는 웹 프레임워크이다. 웹 프레임..
-
Python: ModuleNotFoundError: No module named 'mysql'컴퓨터/MySQL 2020. 12. 31. 09:58
어느 날 나타난, caching_sha2_password is not supported error mysql.connector.errors.NotSupportedError: Authentication plugin 'caching_sha2_password' is not supported 이 오류는 mysql-connector은 오래된 버전이기 때문이다. 삭제해버린다. pip uninstall mysql-connector 제작자가 업데이트를 안 해서 Oracle에서 제작한 버전을 설치해야 한다. (v8+) (mysql-connector-python-rf보다 공식 버전을 설치하길 바람) pip install mysql-connector-python 위로도 해결이 안 될 수도 있다, import mysql을 해..
-
Apache Kafka 서버 보안 (security)컴퓨터/Kafka 2020. 12. 30. 23:24
Kafka Apache Kafka A Distributed Streaming Platform. kafka.apache.org 1. 카프카 보안 기본 설정(PLAINTEXT)으로는 이론상, 연결된 모든 유저 및 애플리케이션이 원하는 토픽에 원하는 메시지를 전달할 수가 있다. 카프카 보안을 높일 수 있는 방법은 크게 아래 3가지가 있다. 데이터 전송 중 SSL / TLS을 통한 암호화 SSL / SASL을 통한 인증(Authentication) ACLs을 통한 인증(Authentication) 2. SSL / TLS 이 방법은 프로듀서에서 카프카, 카프카에서 컨슈머로 가는 데이터를 암호화할 수 있게 해 준다. HTTPS에서 "S"가 이와 같다. (카프카에선 주로 port 9093 SSL을 통해 이용함) 아래..
-
Python: 무료 Cloud Flask 서버 만들기 (AWS EC2 + S3)컴퓨터/파이썬 2020. 12. 26. 17:44
AWS 클라우드 서비스 | 클라우드 컴퓨팅 솔루션| Amazon Web Services 브라우저 기반 셸, 더 안전하고 손쉬운 카오스 엔지니어링, 기존 도구와 서비스의 향상된 기능 발표 내용 살펴보기 aws.amazon.com 1. 소개 AWS는 클라우드 서버를 제공해 주어서 ssh로 접속하면 가상 환경으로 서버에 접속할 수 있다. 카카오 챗봇 스킬 서버를 구름 IDE 무료 버전으로 이용하고 있으나, 인터넷 창을 닫으면 꺼진다. 터미널은 열어두기 편하고, AWS을 이용해 보고 싶어서 아래와 같은 상황을 만들 것이다. AWS S3 온라인 클라우드 만들기 (ES2 서버에서 로컬 컴퓨터 파일 sync) AWS EC2 우분투 서버 만들고 실행하기 python 가상 환경 만든 후 flask 서버 실행 2. AWS..
-
Python Kafka: Cloud Karafka 이용하기컴퓨터/Kafka 2020. 12. 24. 12:14
CloudKarafka CloudKarafka TYou will, among other things, understand how you can benefit from using Apache Kafka in your architecture and how to optimize your Kafka Cluster. www.cloudkarafka.com 1. 소개 CloudKarafka는 Google cloud나 AWS처럼 클라우드 서버를 제공하는데, Kafka 클러스터만을 위한 서버이다. 무료 버전은 최대 5개 토픽, 토픽 당 최대 10MB 데이터, 28일 데이터 보유 기간이다. (최고 옵션은 매 달 1200달러) 2. 서버 만들기 원하는 플랜으로 카프카 서버를 만든다. @플랜 링크 Plans - CloudKa..
-