본문 바로가기

전체 글111

Apache Kafka 카프카 소개카프카 아키텍처프로듀서 : 카프카로 메시지 전달컨슈머 : 카프카에서 메시지 조회토픽 : 메시지를 브로커에 저장하기 위한 논리적 이름주키퍼 앙상블 : 클러스터에서 컨센서스를 유지하도록 돕는다.브로커 : 커밋 로그를 처리 카프카 배달 방식최소 한 번 시맨틱 (at-least-once semantics) : 메시지는 수신확인이 될 때까지 재발송최대 한 번 시맨틱 (at-most-once semantics) : 메시지는 단 한 번 발송하며, 실패하더라도 재발송하지 않음정확히 한 번 시맨틱 (exactly-once semantics) : 메시지는 이 메시지의 컨슈머에게 단 한 번만 보냄 2024. 8. 15.
파일 내용 출력 관련 명령어 - 고급 tac  rev     sed   awk 2024. 7. 21.
파일 내용 출력 관련 명령어 - 기본 WC파일 내용의 줄 수, 단어 수, 문자 수를 출력# 줄, 단어, 문자 수wc file.txt# 줄 수wc -l file.txt# 단어 수wc -w file.txt# 문자 수wc -c file.txt head파일의 첫 번째 줄을 출력원하는 줄 수를 지정 하려면 '-n' 옵션 이용head -n10 file.txt cut파일 내용 중 특정 열만 출력-f : 필드 지정 (1이 첫 번째 필드)-d : 구분자 지정 (기본 값 : 탭)-c : 문자 위치 지정cut -f2 file.txtcut -f2,4 file.txtcut -f2-4 file.txtcut -c1,3 file.txtcut -c1-3 file.txtcut -d"," -f2 file.txt grep주어진 문자열과 일치하는 부분만 찾아서 출력-v : 일치.. 2024. 7. 21.
오프라인 환경에서 Python 패키지 설치하기 온라인 환경에서 패키지 다운로드pip download 명령을 이용해서 아래와 같이 원하는 패키지를 다운로드 한다.(폐쇄망 환경에서 외부로 443 통신이 불가한 경우 --trusted-host 를 추가 하면 된다.)pip3 download -d ./package-requests/ requests --trusted-host pypi.org --trusted-host files.pythonhosted.org  오프라인 환경에서 패키지 설치커맨드 라인 환경pip3 install --no-index --find-links=./package-requests/ requests IDE 환경파이참 (PyCharm)# pip.ini (Windows)[global]trusted-host = pypi.org .. 2024. 7. 13.

티스토리툴바