b4failrise@devgraphy

IO 멀티플렉싱

멀티플렉싱 서버의 구현에 있어서 가장 대표적인 방법 : select() select함수를 사용하면 한곳에 여러 개의 file descriptor를 모아놓고 동시에 이들을 관찰할 수 있다.*파일 디스크립터의 관찰은 소켓의 관찰로 해석할 수 있다.파일 디스크립터에 대한 관찰을 하는 데 사용되는 것이 fd_set형 변수이다. 이는 0과 1로 표현되는, 비트단위로 이뤄진 배열이다.이러한 자료형으로 각 file descriptor에 대해 세 가지에 대해서 관찰을 한다. - read buffer 관련- write buffer 관련- exception 관련 이러한 관찰범위를 select 함수에 fd_set 변수를 선언하여 변수의 주소값을 넘겨준다.관심없는 관찰에 대해선 NULL을 넘겨주면된다. select의 para..

Installation of Spark in Ubuntu

사전 준비: JDK 설치 및 JAVA_HOME 환경 변수 설정sudo apt-get updatesudo apt-get -y install openjdk-8-jdk echo $JAVA_HOME아무것도 안 뜨거나, echo $JAVA_HOME 이 그대로 뜨면export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 1. Apache Spark Project의 공식 내려 받기 페이지에 접속https://goo.gl/DLvWLR 2. Package type 선택이미 하둡을 설치했다면 해답 하둡 버전에 맞는 유형을 선택할 수 있다. 3. Spark 다운로드 cd $HOME/Downloadstar -xvf spark*rm spark*tgz -------내려받은 스파크 tgz 아카이브..

Stream Processing101

database에서 consistency는 "constraints, trigger, cascades 를 포함하여 모든 정의된 룰에 따라 database에서 쓰여진 데이터가 valid 하는가"를 의미한다.그리고 correctness는 "application programmer가 원하는 모든 방식으로 올바르게 transaction이 이루어지는가"를 의미한다. 따라서 stream processing 에서 consistency는 오히려 데이터베이스에서의 correctness와 의미가 일맥상통한다. "streaming"의 다른 일반적인 용도에 관해서는, 정기적으로 듣는 몇 가지가 있다. 더욱 정확하고, 설명적인 용어들로 각각을 소개하겠다. 1.Unbounded data unbounded data sets과 bou..

Half-Close - shutdown()

일방적인 연결 종료-close() 의 문제점close 호출 후- read buffer는 close와 동시에 모두 없어짐- write buffer는 안의 내용을 모두 내보낸 다음에 파일의 마지막을 의미하는 'EOF'를 전송 후 스트림이 종료된다. ※ EOF가 스트림 종료가 아닌 정확히는 파일의 마지막을 의미한다. 데이터를 전송하고, close하게 되면 언젠가 출력스트림의 내용이 모두 빠져나가고 파일의 마지막을 의미하는 'EOF'가 보내지게 된다.BUF_SIZE만큼 (지속적으로) 전송하고 마지막 write은 BUF_SIZE을 못 채울 수도 있지만 마지막 BUF_SIZE에 대한 read의 block은 해제된다.또한 EOF가 온 경우에도 read는 해제된다. 따라서 이 둘을 구분하기 위해 read의 return..

네트워크 바이트 순서와 인터넷 주소 변환

바이트 순서와 네트워크 바이트 순서네트워크 바이트 순서와 인터넷 순서가 어떤 관계가 있는지시스템에 따라 Big Endian / Little Endian 사용 방식이 다르다.Big Endian - 상위 바이트의 값을 작은 번지수에 저장ex. 0x12345678 은 가장 낮은 번지부터 0x12 0x34 0x56 0x78 순서로 담긴다. (상위 바이트는 12이다.) Little Endian - 상위 바이트의 값을 큰 번지수에 저장ex. 0x12345678은 0x78 0x56 0x34 0x12 순서로 담긴다. 데이터 송수신 과정에서 데이터 저장방식의 차이 문제가 발생할 수 있음 따라서 네트워크 데이터 송수신을 할 땐 약속이 필요함보내는 쪽, 받는 쪽 모두 BigEndian / LittleEndian이든 상관없이..

소켓에 할당되는 IP주소와 PORT번호

소켓을 생성한 다음에 서버의 경우 bind 함수를 사용해서 소켓에 주소를 부여할 수 있고, 클라이언트의 경우 connect함수 내부에서 자동으로 주소를 할당이 된다. 소켓의 주소라는 것이 어떻게 생겼는지 소켓에 그 주소를 어떻게 바인딩하는지가 목표 IPv4 인터넷 주소의 체계 처음 8비트는 네트워크를 구분하고 나머지 24비트는 네트워크 안의 호스트들을 구분하는 데 사용된다. 일반적으로 클래스C를 사용. 3바이트로 인하대학교 네트워크를 발견하고, 네트워크 내부에서 사용하는 호스트들은 나머지 1바이트로 구분 클래스 A의 첫 번째 비트는 항상 0으로 시작 클래스 B의 첫 두 비트는 항상 10으로 시작 클래스 C의 첫 세 비트는 항상 110으로 시작 클래스 C에서 마지막 1바이트인 IP로 PC 시스템 하나를 구..

Union

공용체(union)는 구조체와 비슷하게 생겼지만 모든 멤버가 같은 메모리 공간에 자리잡는다는 특징을 가지고 있다.그렇기 때문에, 멤버 변수의 값 변경은 다른 멤버 변수에 영향을 미칠 수 있다.공용체의 모든 멤버는 같은 메모리 공간을 사용하기 때문에 공용체 변수의 크기는 가장 큰 크기를 갖는 멤버의 크기와 같게 된다. 모든 멤버는 같은 주소를 갖게 되는데, 물론 타입마다 차지하는 크기가 다를 수는 있다. 예를 들어 char 타입 같은 경우에는 앞쪽의 1바이트만 다른 멤버들과 같이 사용하게 된다.공용체의 모든 멤버는 같은 메모리 공간을 사용하기 때문에 공용체 변수의 크기는 가장 큰 크기를 갖는 멤버의 크기와 같게 된다.12345678910111213141516171819202122232425262728293..

Vector-Sort, iterator

N 개의 integer가 주어졌다. N개의 integer를 정렬하고 정렬된 순서로 출력하라.N개의 integer들을 vector에 저장하라. vector들은 크기를 변경할 수 있는 배열을 표현하는 순차 컨테이너(sequence containers)이다. Declaration:vectorv; (creates an empty vector of integers) Size:int size = v.size(); Pushing an integer into a vector:v.push_back(x); (where x is an integer. The size increases by 1 after this.) Popping the last element from the vector:v.pop_back(); (After..