이것저것 (8) 썸네일형 리스트형 역함수와 역행렬로 딥러닝의 결과로부터 입력 복원하기 읽으시기 전에…수학, AI에 대한 지식이 많이 부족한 상태에서 작성한 글이고, 사실관계와는 상관없이 생각을 정리한 글이기 때문에 틀린 내용이 있을 수 있습니다. 틀린 내용이 많더라도 너그럽게 봐주시고, 귀여운 개발자의 글로 생각해주시면 감사하겠습니다. 댓글로 내용에 대한 지적, 피드백 해주셔도 좋습니다🙂딥러닝 모델에서 출력으로 입력 복원이 가능할까?처음 생각은 LLM와 이미지 생성 모델로부터 였다. LLM와 이미지 생성 모델의 결과를 잘 뽑기 위해서는 좋은 프롬프트를 넣는 것이 중요하다고 한다. 그러면 결과로부터 프롬프트를 복원할 수 있다면 어떤 프롬프트를 넣어야 원하는 결과가 나오는 지 이해가 가능하다고 생각했다. 조금 더 확장하여 딥러닝 모델에서 결과로부터 입력을 추출할 수 있다면 black box.. [ChatGPT] 프롬프트 작성하는 프롬프트 글 아래에 프롬프트 작성하는 프롬프트에 대해 나와있습니다. 챗지피티에서 사용해보세요. 프롬프트 엔지니어링 현재 내가 회사에서 수행하는 업무 중 하나는 프롬프트 엔지니어링이다. 프롬프트는 인공지능 모델에게 원하는 출력을 안내하기 위해 제공되는 짧은 텍스트나 지시어다. ChatGPT(챗지피티)나 뤼튼에 들어가서 채팅창에 적는 내용이 프롬프트이다. 프롬프트 엔지니어링은 깨진 항아리에 물을 채우는 것과 유사하다. 안되던 부분을 해결하려고 프롬프트를 수정하면 안되던 부분은 되는데 되던 부분이 안되는 문제가 발생한다. 이런 점이 프롬프트 엔지니어링을 할 때 미치게하는점이다. LLM에게 프롬프트 엔지니어링을 맡겨보자. 이런 어려움을 겪고 있을 때 한 가지 생각이 났다. 사람은 본인이 본인을 제일 잘 알텐데 LLM 프.. PRML 2021 1일차, Recent Advances in Autoregressive models and VAE 이 글은 정보과학회에서 진행하는 PRML 2021의 첫 번째 세션인 김세훈님의 Recent Advances in Autoregressive models and VAE에 대한 포스트이다. introduction 모든 Generative model의 목적은 자신에게 주어진 여러 정보를 통해 모르는 정보를 예측하는 것이다. Generative model 중 하나인 Autoregressive Model은 자신의 과거의 예측이 이후 예측에 영향을 준다는 것이다. 이 모델을 이미지에 적용하면 다음그림과 같이 표현할 수 있다. 과거 데이터인 왼쪽, 위 픽셀을 가지고, 현재 픽셀을 예측하는 것이다. Autoregressive Model은 다음 그림처럼 순서대로 이뤄진다. 맨 처음 1*1 픽셀이 주어지면 오른쪽 아래로 .. 스타트업 행사 2020 넥스트라이즈를 다녀와서... NextRise는 벤처, 스타트업의 투자유치 및 대,중견기업과의 사업협력을 지원하는 스타트업 행사이다. 컨텐츠로는 대,중견기업과의 1대1 밋업, 부스전시, 온라인, 오프라인 강연들로 구성이 되어있다. 국내외 약 200개의 기업이 이번행사에 참여하였다. 이번에 우리 회사에서도 NextRise 부스를 운영하였다. 회사 내에서는 나와 대표님이 NextRise에 참가했다. 나는 부스 운영을 담당하고, 대표님은 1대1 밋업을 다니셨다. 내가 부스운영을 하기 전에 가장 걱정했던 부분은 회사와 관련된 질문이 들어왔을 때 회사의 정보를 어느정도 까야하는지, 혹은 부스에 많은 인원이 오지 않을까 걱정했었다. 하지만 회사 정보와 직결되는 민감한 질문을 하시는 분도 적었고, 꽤나 많은 분들이 부스를 찾아주신 것 같다. 이번.. The Challenge of Supporting AV at Scale 리뷰 이 포스트는 The Challenge of Supporting AV at Scale에 대한 리뷰이다. The Challenge of Supporting AV at Scale 인텔에 한화 17조에 인수된 자율주행차량 회사인 모빌아이의 자율주행 기술에 대해서 다루고 있다. 이 회사는 1월에 25분짜리 무편집본으로 예루살렘의 busy traffic환경의 자율주행영상을 올렸다. 진짜 디테일과 기술에 대단하다는 생각이 들었고, 25분동안 시간가는줄 모르고 봤다. 이 영상에서 유일하게 사람의 조작이 들어간 부분은 차를 찍는 드론의 배터리를 교체할 때였다. 영상에서 발견한 부분과 설명들에 대해 정리해본다. 카메라만을 통한 자율주행시스템을 구축했다. 주행하는 도로에 대한 200km의 HD맵이 미리 구축되어있다. 12개.. How Starship Delivery Robots know where they are going Review 이 포스트는 배달 로봇 회사 스타쉽 테크놀로지의 포스트인 How Starship Delivery Robots know where they are going의 리뷰이다. How Starship Delivery Robots know where they are going 스타쉽은 100,000회에 이르는 배달을 해왔다. 배달하기 위해서는 위치 A에서 B까지 가기 위해서는 경로 계획을 해야하는데 이 과정에서 지도의 정보가 필요하다. 이미 공식화된 구글 지도나 open street maps와 같은 지도가 있음에도 이것의 정보만으로는 부족하다. 왜냐하면 이것들은 차를 기반으로 하고있고, 도로를 매핑하였기 때문이다. 배달로봇은 인도를 통해 이동하고, 횡단보도를 통해 길을 건너기 때문에 정확한 지도가 필요하다. 그렇기.. Starship Technology CTO Post Review 라스트마일 모빌리티 업체 스타쉽 테크놀로지의 CTO가 4년간의 경험을 공유한 포스트를 전달하고자 한다. 스타쉽의 CTO의 입장에서 글을 전달해보도록 하겠다. 4년간의 여행에서 우리는 컴퓨터비전, 경로 계획, 물체 인식 분야에 대해 개발했다. 우리는 Levenberg-Marquardt알고리즘은 fine tuning했고, 3가지를 개발했다. 센서 캘리브레이션 자동화 각 배달과정에서 로봇의 배터리가 얼마나 필요한지 예측 식당에서 물건을 받기 위해 얼마의 시간이 걸리는지 예측 오늘날의 로봇들은 매우 비싸고, 그것들을 연구를 위해서 만든것이지 commercial한 용도가 아니다. 센서 가격만 1000만원에 가깝다. 또한 컴퓨터 파워가 3000와트나 필요하다. 이것은 작고, 안전한 로봇을 위해서는 비현실적이다. 우.. How Neural Networks Power Robots at Starship Review 스타쉽이 어떻게 적은 computational resources와 lidar와 같은 비싼 센서를 쓰지 않으면서 실시간으로 잘 주행할 수 있을까? Using machine learning to detect objects 자율주행차의 영역의 경우 자율주행로봇 영역에 비해 more structured and predictable하다. 그리고 라인을 따라서 가고, 방향을 자주 바꾸지 않는다. 그러나 자율주행로봇의 영역은 사람은 자주 방향을 바꾸고, 개들도 있다. 이런 상황을 인지하기 위해 물체 인식 모듈이 필요하다. improving the robot’s ability to adapt and learn 로봇 소프트웨어 안에는 훈련할 수 있는 units(mostly neural net)이 있고, 이것을 알아서 학.. 이전 1 다음
