푸른하늘

Python 개발을 취미로 하다가 일이 있어서 node.js, vue.js, react.js, elasticsearch, kibana, logstash 등등 잡다한(?) 것들을 많이 설치했는데, 노트북이 열일하다 보니 오래된 SSD 용량이 부족해졌어요. 게다가, Python은 32비트와 64비트 둘 다 설치해서 사용하고 있었는데... 본격적으로 주식 트레이딩 프로그래밍을 하려고 웬만한 것은 싹 다 지웠습니다. 그리고, 다시 시작하려고 하니.. win32com 라이브러리가 없네요. ㅋ 흠.. 이걸 어떻게 설치했어나? 그래서 python 만능(?) 해결사, "pip"명령어를 사용해 봅니다. 일단, "pip install --upgrade pip"명령을 통해 pip을 업데이트 합니다만... 이런, 저는 이미 ..

Text 데이터 타입을 사용하면 색인 시 지정된 analyzer가 컬럼의 데이터를 문자열로 인식하고 이를 분석한다. Analyzer를 지정하지 않으면, 기본적으로 standard analyzer가 사용된다. 어떤 설명문같이 문장 형태의 데이터에 사용하기에 적합 Text 데이터 타입은 "전문 검색"이 가능하다는 것이 가장 큰 장점 Text 데이터 타입으로 데이터를 색인하면, 전체 텍스트가 토큰화되어 생성되며, 특정 단어를 검색하는 것이 가능 검색 뿐 아니라, 정렬이나 집계 연산을 사용해야 할 경우에는 text 타입과 keyword 타입을 동시에 갖도록 설정 Text 타입의 주요 파라메터는 아래 표와 같음 analyzer 인덱스 검색에 사용할 형태소 분석기를 선택. 기본값은 standard analyzer...

Keyword 형태로 사용할 데이터에 적합 별도의 분석기를 거치지 않고, 원문 그래도 색인을 하기 때문에 특정 코드나 키워드 등 정형화된 컨텐츠에 사용 형태소 분석을 사용하지 않아야 할 경우에도 사용 주로 아래와 같은 경우에는 반드시 keyword 타입을 사용해야 함 검색 시 필터링 되는 항목 정렬이 필요한 항목 집계(aggregation)해야 하는 항목 예를들어, keyword 타입으로 지정된 항목에 "Seoul Korea"라는 문자열이 있을 경우 "Seoul" 이나 "Korea"라는 질의어로는 검색이 되지 않는다. 정확하게 "Seoul Korea"라고 질의해야 검색이 된다. keyword 데이터 타입의 파라메터는 아래 표 참고 boost 필드의 가중치로 검색 결과 정렬에 영향을 줌. 기본값은 1.0으..

데이터베이스에서 테이블의 컬럼 정보를 정의하는 것이 중요하듯, 엘라시틱서치도 데이터의 타입을 정의하는 것이 중요하다. 엘라스틱서치는 기본적으로 schemaless이기 때문에 명시적인 정의를 하지 않아도, 각 데이터 유형에 따라 필드 데이터 타입에 대한 매핑 정보가 자동으로 생성된다. 이러한 동적 매핑을 하면, 문서에 새로운 필드를 추가할 때마다 인덱스가 자동으로 업데이트 됨으로 매우 쉽고 편리하지만, 한 번 정의된 필드에 서로 다른 타입의 데이터가 입력되면 뒤에 입력된 데이터의 색인 생성에 실패하게 됨. 한 번 생성된 매핑의 타입은 변경할 수 없다. 타입을 변경하려고 한다면, 인덱스를 삭제 후 다시 생성하거나 매핑을 다시 정의해야 함. 매핑 정보 설정시 고려사항 문자열을 분석해야 하는가? _source ..

문서관리용 API: 문서(document)를 색인하고 조회, 수정, 삭제 색인된 문서의 ID를 기준으로 "한 건"의 문서를 취급(Single document API) 한 건의 문서 색인: Index api 한 건의 문서 조회: Get api 한 건의 문서 삭제: Delete api 한 건의 문서 갱신: Update api 다수의 문서 처리(Multi document API) 다수의 문서 조회: Multi Get api 대량의 문서 색인: Bulk api 다수의 문서 삭제: Delete by Query api 다수의 문서 갱신: Update by Query api 기존 문서 재색인: Reindex api

Mappig 정보를 완벽(?)하게 입력을 했는데, 원인모를 오류가 발생했다. "The mapping definition cannot be nested under a type [_doc] unless include_type_name is set to true." 도대체, 아무리 소스를 뒤져봐도 잘못한게 없는뎅?? 그래서, 다시 메뉴얼을 읽어보니 버전이 업그레이드 되면서 바뀌 부분에 대한 내용이 식별되었다. Mapping types are no longer supported in versions 7.x. Elasticsearch 7.x Specifying types in requests is deprecated. For instance, indexing a document no longer requires ..

클러스터는 물리적인 노드 인스턴스들의 집합체 분산 처리를 위해서는 다양한(?) 노드들로 구성해야 함 기본개념: 마스터-노드(전체 클러스터 관리용), 데이터-노드(실제 데이터 관리용) 노드 기본 유형 4가지 Master node Cluster 관리 Node 추가와 제거 등 cluster에 대한 전반적인 관리 네트워크 속도가 빠른 노드를 마스터 노트로 선정 다수의 노드를 마스터 노드로 설정할 수 있으나, 단 하나의 노드만이 마스터로 선발되어 동작하게 됨 Data node 데이터 저장 검색, 통계처리 같은 데이터 관리작업 수행 컴퓨팅 자원 (CPU, MEM, Storage)을 많이 필요로 함 노드의 리소스 운영상태를 지속적으로 모니터링해야 함 Master node와는 가급적 분리해서 구성하는 것이 바람직함 C..

Python은 유용한 라이브러리가 많아서 참 좋은 프로그래밍 언어라고 생각합니다. 터미널 등을 통해서 작성한 프로그램 결과를 보는 것도 좋은 방법이지만, 어느 정도 수준이 되었다고 느낄 때.. 바로 GUI 를 만들고 싶어지는 법이지요. 그래서 Designer 툴을 사용하기로 했습니다. 일단, Designer를 사용해서 적당한 UI를 만들었다고 생각된다면 Python 프로그램과 연결을 시켜야 하는데, 방법은 Designer가 만든 *.ui 파일을 *.py 코드로 변환시킨 후 프로그램을 업데이트하는 방법과 *ui 파일을 import시켜서 프로그래밍을 계속 해나아가는 방법이 있습니다. 일단, import 하는 방법이 프로그래밍 하기도 편하고 수정도 쉽기 때문에 이 방법으로 진행을 해봅시다. 방법은 아주 간단합..

프로그램을 개발한다는 것은 Database에 있는 data를 사용자가 볼 수 있도록, 또는 사용자의 입력을 database에 저장하는 그런 일련의 과정을 만들어가는 거라고 생각합니다. 아무리 멋진 알고리즘으로 무장을 해도, 결국 사용자는 화면빨(!)에 따라 프로그램을 평가하게 되더군요. 그래서 기획단계부터 화면설계안을 작성해서 많은 논의를 거쳐야 하는데, 이게 굉장히 번거롭더군요. 그래서 준비했습니다!! 아니, 찾았다고 해야 하나.. PowerMockup!! 1. 설치하기 가. powermockup.com 사이트에 가서 다운로드를 받습니다. 나. "DOWNLOAD TRIAL"을 클릭해서 설치파일을 다운로드 하고, 다운로드된 파일을 실행시킵니다. 다. 다들 친숙한, "Next" 및 "Install" 신공을..

프로그램을 개발한다는 것은 Database에 있는 data를 사용자가 볼 수 있도록, 또는 사용자의 입력을 database에 저장하는 그런 일련의 과정을 만들어가는 거라고 생각합니다. 아무리 멋진 알고리즘으로 무장을 해도, 결국 사용자는 화면빨(!)에 따라 프로그램을 평가하게 되더군요. 그래서 기획단계부터 화면설계안을 작성해서 많은 논의를 거쳐야 하는데, 이게 굉장히 번거롭더군요. 그래서 준비했습니다!! 아니, 찾았다고 해야 하나.. PowerMockup!! 1. 설치하기 가. powermockup.com 사이트에 가서 다운로드를 받습니다. 나. "DOWNLOAD TRIAL"을 클릭해서 설치파일을 다운로드 하고, 다운로드된 파일을 실행시킵니다. 다. 다들 친숙한, "Next" 및 "Install" 신공을..