ufris

그래픽 카드 3090에서 tensorflow를 사용할 때 모델을 생성하는 부분이 상당히 느립니다 3090을 사용하기 위해서는 cuda 11.0 이상을 사용해야하는데 그에 최적화된 tensorflow version이 따로 있습니다 일반적으로 conda install tensorflow-gpu를 사용하면 2.2 version으로 설치가 되고 cudatoolkit도 10.0으로 깔립니다 이 상태에서 tensorflow를 돌릴 때 처음 모델을 생성하는게 매우 느려지는데 이 문제를 해결하기 위해서는 $ conda install cudatoolkit # cudatoolkit이 11.0 버전으로 깔림 # cuda가 다른 버전으로 깔리면 cudatoolkit=11.0 으로 지정해주시면 됩니다 $ pip install ..

현재 컴퓨터에 있는 disk와 device 정보를 확인해줍니다 $ sudo fdisk -l 인식되지 않은 4TB HDD를 보시면 disk 위치가 /dev/sda로 되어 있습니다 완료가 되면 파티션 생성 후 mkfs로 포맷을 진행해줍니다 이 과정을 에러 없이 잘 진행하셨으면 4TB 하드가 마운트된 것을 보실 수 있습니다 # 마운트된 파티션 제거 The size of this disk is 3.7 TiB (4000787030016 bytes). DOS partition table format cannot be used on drives for volumes larger than 2199023255040 bytes for 512-byte sectors. Use GUID partition table format..

tensorflow를 이용해 softmax cross entropy를 직접 구현을 해보면 output = np.array([[0.12,0.546,0.02], [0.054,0.23,0.0003]]) Y = np.array([[0,1,0],[1,0,0]]) hypothesis = tf.nn.softmax(output) # [[0.29103963 0.44561682 0.26334355] # [0.31845567 0.37973867 0.30180566]], # Cross entropy cost/loss cost = tf.reduce_mean(-tf.reduce_sum(Y * tf.math.log(hypothesis), axis=1)) # Y * tf.math.log(hypothesis) = [[-0. -0.80..

논문 링크 batch 단위로 학습을 하면서 마지막 추론 과정에서 데이터마다 잘 맞추는 데이터, 잘 맞추지 못하는 데이터, 혼동이 되는 데이터 등등 여러가지 경우가 있습니다 위의 논문에서는 혼동이 되는 데이터(예 : 말 이미지를 사슴, 말, 소라고 추론하는 경우)는 아직 학습이 더 필요한 데이터이므로 계속 학습을 해야하고 잘 맞추는 데이터(예 : 말 이미지를 계속 말이라고 추론하는 경우)는 너무 쉬운 데이터이고, 잘 맞추지 못하는 데이터(예 : 말 이미지를 계속 사슴이라고 추론하는 경우)는 너무 어려운 데이터이므로 학습에 도움이 되지 않는 데이터라고 설명을 합니다 그래서 위와 같은 데이터는 학습에서 제외를 하고 혼동이 되는 데이터가 현재 학습에 필요한 데이터이기 때문에 해당 데이터들로만 학습을 진행해야한다..

tensorflow에서 ckpt를 저장하면 weigh(.ckpt)과 model graph(.meta)가 저장되는데 test 시에 사용했던 model을 다시 코드로 작성하지 않고 import_meta_graph를 통해 model을 생성할 수 있습니다 그렇게 되면 placeholder 부분을 어떻게 설정할지 감이 잡히지 않았는데 get_tensor_by_name을 통해 placeholder 부분을 불러올 수 있습니다 tf.reset_default_graph() sess = tf.Session() sess.run(tf.global_variables_initializer()) # import_meta_graph를 통해 model load saver = tf.train.import_meta_graph(os.pat..

듀얼 부팅 시 bios를 지나면 grub이 뜨면서 윈도우로 부팅할 지 우분투로 부팅할 지 선택하는 grub이 뜨는데 설치 과정에서 grub이 잘못 깔려서 grub 창이 안뜨는 경우가 있습니다 부트 로더를 다시 깔면 이 문제가 해결 됩니다 1. Try Ubuntu without installing 우분투 부팅 usb를 연결한 상태에서 부팅 usb로 부팅하면 Try Ubuntu without installing 으로 우분투를 실행시켜 줍니다 2. 터미널에서 부트로더 복구 $ sudo add-apt-repository ppa:yannubuntu/boot-repair $ sudo apt-get update $ sudo apt-get install boot-repair 3. boot-repair 실행 $ sudo..

기본적인 tensorRT 설명 및 설치 방법 https://eehoeskrap.tistory.com/414 [TensorRT] NVIDIA TensorRT 개념, 설치방법, 사용하기 1. TensorRT 란? 2. TensorRT 설치하기 3. 여러 프레임워크에서 TensorRT 사용하기 1. TensorRT 란? TensorRT는 학습된 딥러닝 모델을 최적화하여 NVIDIA GPU 상에서의 추론 속도를 수배 ~ 수십배 까지 향상시켜.. eehoeskrap.tistory.com 라즈베리 파이를 위한 tflite https://github.com/tensorflow/examples/blob/master/lite/examples/image_classification/raspberry_pi/README.md ..

https://arxiv.org/pdf/1909.05382.pdf https://www.youtube.com/watch?v=8ZAtvPKqXeA&feature=youtu.be&fbclid=IwAR3qHUNWkJlGs7fHQDK2uy1S6T2oRhJhl62eTcnvy-CX5s6SEkyrWohzIe8

cat /proc/mounts | grep /dev 을 통해 하드 마운팅 권한이 ro가 아닌 rw로 되어 있어야 합니다 (ro로 되어 있는 경우 읽기 전용) sudo umount '새 볼륨' sudo umount /dev/sda2 sudo mount -t hfsplus -o rw,remount -force /dev/sda2 '새 볼륨' 그리고 재부팅을 하면 됩니다 그래도 안되면 듀얼부팅 컴퓨터라면 윈도우에서 해당 드라이버를 실행한 다음에 들어오는 방법도 있습니다 e2fsck를 통해 복구를 하는 방법이 있습니다 e2fsck를 사용할 시 umount를 해야합니다 e2fsck /dev/sda2 e2fsck: Bad magic number in super-block /dev/sda2 를 열고 있습니다. The ..

p tag # html # 실행 결과 단락을 구분하려고 하는 부분에 를 넣으면 됩니다 br tag # html # 실행 결과 void tag이기 때문에 열리는 tag만 있으면 됩니다 br tag 하나당 들여쓰기가 하나씩 되기 때문에 br을 2개 넣으면 2번 들여쓰기가 됩니다