Автор Тема: Ідея прийшла в голову  (Прочитано 2375 раз)

0 Користувачів і 9 Гостей дивляться цю тему.

Offline Ali(UA)

  • Ветеран форума
  • ******
  • Повідомлень: 9338
Ідея прийшла в голову
« : Березня 09, 2023, 08:19:12 20:19 »
Зараз говорять про ChatGPT і лякають що він усіх позамінює.

причому підари тримають моделі в секреті і дають лише АПІ щоб заробляти.

а юзають усякі відкриті бази опен сорс і самих же юзерів для тренування.

Якщо зробити відкриті моделі? кожен тримає свою модель сам для себе.

Лише пропонувати хостінг для полегшення розгортання?

як думаєте?

Offline Outlander

  • Ветеран форума
  • ******
  • Повідомлень: 3069
  • Стать: Чоловіча
Re: Ідея прийшла в голову
« Reply #1 : Березня 09, 2023, 08:47:11 20:47 »
причому підари тримають моделі в секреті і дають лише АПІ щоб заробляти.
Лібертаріанство яке ми заслужили.  :weep:

До речі, є ще одна ідея. Є купа платних комп'ютерних програм. Наприклад Photoshop, Autocad, Catia, Maya. Якщо зробити відкриті програми? Кожен отримає свою програму сам для себе.  :gigi:
"El leon es fuerte porque los otros animales son debiles" / Лев сильний лише тому що інші звірі слабкі / Subcomandante Marcos

Offline Ali(UA)

  • Ветеран форума
  • ******
  • Повідомлень: 9338
Re: Ідея прийшла в голову
« Reply #2 : Березня 09, 2023, 08:52:41 20:52 »
Лібертаріанство яке ми заслужили.  :weep:

До речі, є ще одна ідея. Є купа платних комп'ютерних програм. Наприклад Photoshop, Autocad, Catia, Maya. Якщо зробити відкриті програми? Кожен отримає свою програму сам для себе.  :gigi:
це просто бізнес модель. існує ж опен сорс? але ті програми юзають як тули, а ЧатЖПТ не треба скілов щоб їх юзать. Тіпа універсальна заміна людини...

Offline Outlander

  • Ветеран форума
  • ******
  • Повідомлень: 3069
  • Стать: Чоловіча
Re: Ідея прийшла в голову
« Reply #3 : Березня 09, 2023, 09:02:48 21:02 »
це просто бізнес модель. існує ж опен сорс? але ті програми юзають як тули, а ЧатЖПТ не треба скілов щоб їх юзать. Тіпа універсальна заміна людини...
Ти точно маєш якесь відношення до IT?  :lol:

В осонові таких моделей як GPT-3 чи ChatGPT лежить багаторічна праця багатьох людей. Від тих які збирають, фільтрують та обробляють дані, до тих хто тренують моделі. Лише оплата інстансів для AWS на тренуванні на порядки простішої моделі з  використанням 8 A100 протягом кількох днів коштувала нам близько 5 тисяч баксів. Тут суми лише на тренування будуть на порядки вищі. І це лише вершина айсбергу витрат.
"El leon es fuerte porque los otros animales son debiles" / Лев сильний лише тому що інші звірі слабкі / Subcomandante Marcos

Offline Ali(UA)

  • Ветеран форума
  • ******
  • Повідомлень: 9338
Re: Ідея прийшла в голову
« Reply #4 : Березня 09, 2023, 09:10:56 21:10 »
Ти точно маєш якесь відношення до IT?  :lol:

В осонові таких моделей як GPT-3 чи ChatGPT лежить багаторічна праця багатьох людей. Від тих які збирають, фільтрують та обробляють дані, до тих хто тренують моделі. Лише оплата інстансів для AWS на тренуванні на порядки простішої моделі з  використанням 8 A100 протягом кількох днів коштувала нам близько 5 тисяч баксів. Тут суми лише на тренування будуть на порядки вищі. І це лише вершина айсбергу витрат.
Значить будуть уже підготовані моделі продавати... вони доречі не такі й великі.

ні 4chan вже злили LLaMA  :rotate:

ну а далі тренуй сам ))) або будуть апдейти ... думаю за цим майбутнє. ти справді вважаєш що ото тримання моделі в секреті протримається довго?

Offline Ali(UA)

  • Ветеран форума
  • ******
  • Повідомлень: 9338
Re: Ідея прийшла в голову
« Reply #5 : Березня 09, 2023, 09:12:46 21:12 »
В Майкрософті вже встроїли то
ChatGPT is now available in Azure OpenAI Service
у хмару.

Offline Yuras Yuras

  • Ветеран форума
  • ******
  • Повідомлень: 16201
Re: Ідея прийшла в голову
« Reply #6 : Березня 09, 2023, 09:14:18 21:14 »
 Чесно кажучи, якось і не віриться, що Алі в США живе, якийсь гомо совєтікус.

Offline Ali(UA)

  • Ветеран форума
  • ******
  • Повідомлень: 9338
Re: Ідея прийшла в голову
« Reply #7 : Березня 09, 2023, 09:21:07 21:21 »
Чесно кажучи, якось і не віриться, що Алі в США живе, якийсь гомо совєтікус.
чому ти так вважаєш? чи ти думаєш що тренування моделі на відкритих даних а потім привласнення то собі є морально виправданим?

Offline Outlander

  • Ветеран форума
  • ******
  • Повідомлень: 3069
  • Стать: Чоловіча
Re: Ідея прийшла в голову
« Reply #8 : Березня 09, 2023, 09:30:57 21:30 »
чому ти так вважаєш? чи ти думаєш що тренування моделі на відкритих даних а потім привласнення то собі є морально виправданим?
Це просто якийсь лютєйший піздетц.  :fp2

А написання книжок з використанням загальнолюдських букв, а потім привласнення авторських прав на твір це як?  :gigi:
"El leon es fuerte porque los otros animales son debiles" / Лев сильний лише тому що інші звірі слабкі / Subcomandante Marcos

Offline Yuras Yuras

  • Ветеран форума
  • ******
  • Повідомлень: 16201
Re: Ідея прийшла в голову
« Reply #9 : Березня 09, 2023, 09:31:15 21:31 »
чому ти так вважаєш? чи ти думаєш що тренування моделі на відкритих даних а потім привласнення то собі є морально виправданим?
Тому, що ви вимагаєте надати вам безкоштовно комерційний продукт. Як вже зазначив Оутлендер, тренування коштують великих грошей, які треба відбити. І цимес не у відкритості даних, а у алгоритмах, які здатні їх використати відповідно до мети

Offline Ali(UA)

  • Ветеран форума
  • ******
  • Повідомлень: 9338
Re: Ідея прийшла в голову
« Reply #10 : Березня 09, 2023, 09:34:54 21:34 »
Тому, що ви вимагаєте надати вам безкоштовно комерційний продукт. Як вже зазначив Оутлендер, тренування коштують великих грошей, які треба відбити. І цимес не у відкритості даних, а у алгоритмах, які здатні їх використати відповідно до мети
я не хочу безкоштовного комерційного продукту, ви мене не зрозуміли. ідея купити модель базову (КУПИТИ) а потім розвивати її самотужки.

Є куча пропрайоторі кода що ніхто не викладе в мережу. Ідея - купити модель, встановити її та навчити на пропрайоторі коді?

далі - персонально - купити полегшену модель, та налаштовувати її під себе?

звісно то всьо потрубує зусиль, спрощених інтерфейсів таке інше. просто трохи інший бізнес.

Offline Ali(UA)

  • Ветеран форума
  • ******
  • Повідомлень: 9338
Re: Ідея прийшла в голову
« Reply #11 : Березня 09, 2023, 09:42:25 21:42 »
бізнес сервісів Open AI, Midjourney, DALLE etc  це підписка та продаж по суті API. Я просто хочу замислитися над продажем базових тренованих моделей...

Offline Outlander

  • Ветеран форума
  • ******
  • Повідомлень: 3069
  • Стать: Чоловіча
Re: Ідея прийшла в голову
« Reply #12 : Березня 09, 2023, 09:45:12 21:45 »
я не хочу безкоштовного комерційного продукту, ви мене не зрозуміли. ідея купити модель базову (КУПИТИ) а потім розвивати її самотужки.

Є куча пропрайоторі кода що ніхто не викладе в мережу. Ідея - купити модель, встановити її та навчити на пропрайоторі коді?

далі - персонально - купити полегшену модель, та налаштовувати її під себе?

звісно то всьо потрубує зусиль, спрощених інтерфейсів таке інше. просто трохи інший бізнес.
Господи, у тебе ж навіть зеленого розуміння як працює machine learning немає.  :lol:

Всі алгоритми відкриті, усі архітектури відомі. Бери і навчай. І викладай в загал. Як десятки тисяч людей і компаній роблять на тому ж https://huggingface.co/ Едина відмінність від open.ai  - що open.ai мають змогу витративши мільйони доларів зібрати і обробити в тисячі разів більше даних, і навчити на цих даних складнішу модель з більшою кількістю параметрів. І ця модель буде від цього кращою. Хочеш користуєшся нею. Не хочеш - качаєш з хагінфейс простіші моделі. І це не підходить - учиш пайторч чи тензорфлоу і тренуєш свої.
"El leon es fuerte porque los otros animales son debiles" / Лев сильний лише тому що інші звірі слабкі / Subcomandante Marcos

Offline Ali(UA)

  • Ветеран форума
  • ******
  • Повідомлень: 9338
Re: Ідея прийшла в голову
« Reply #13 : Березня 09, 2023, 09:54:25 21:54 »
я не писав про код, а про модель.

Offline Комашки

  • Ветеран форума
  • ******
  • Повідомлень: 7690
Re: Ідея прийшла в голову
« Reply #14 : Березня 09, 2023, 09:54:39 21:54 »
я не хочу безкоштовного комерційного продукту, ви мене не зрозуміли. ідея купити модель базову (КУПИТИ) а потім розвивати її самотужки.

Є куча пропрайоторі кода що ніхто не викладе в мережу. Ідея - купити модель, встановити її та навчити на пропрайоторі коді?
Про що взагалі мова? В когось є тіньовий гітхаб, котрий ніколи не викладе в мережу, але дасть вам поганяти на модельці щоб навчити її тому що вже вміє той же чатГПТ?

Offline Ali(UA)

  • Ветеран форума
  • ******
  • Повідомлень: 9338
Re: Ідея прийшла в голову
« Reply #15 : Березня 09, 2023, 09:58:16 21:58 »
Про що взагалі мова? В когось є тіньовий гітхаб, котрий ніколи не викладе в мережу, але дасть вам поганяти на модельці щоб навчити її тому що вже вміє той же чатГПТ?
"тіньових" гітхабів дох..я. це називається пропрайоторі код. як і іншої приватної непублічної інформації.

Offline Комашки

  • Ветеран форума
  • ******
  • Повідомлень: 7690
Re: Ідея прийшла в голову
« Reply #16 : Березня 09, 2023, 10:02:52 22:02 »
"тіньових" гітхабів дох..я. це називається пропрайоторі код. як і іншої приватної непублічної інформації.
Я якось в курсі, що таке пропрієтарний код. Це не відповідь на моє питання, котре звучить, ще раз, так: В когось є тіньовий гітхаб, котрий ніколи не викладе в мережу, але дасть вам поганяти на модельці щоб навчити її тому що вже вміє той же чатГПТ? :)
Я звісно розумію, що відповідь "ніт", просто в чому тоді ідея  :gigi:

Offline Ali(UA)

  • Ветеран форума
  • ******
  • Повідомлень: 9338
Re: Ідея прийшла в голову
« Reply #17 : Березня 09, 2023, 10:07:21 22:07 »
Я якось в курсі, що таке пропрієтарний код. Це не відповідь на моє питання, котре звучить, ще раз, так: В когось є тіньовий гітхаб, котрий ніколи не викладе в мережу, але дасть вам поганяти на модельці щоб навчити її тому що вже вміє той же чатГПТ? :)
Я звісно розумію, що відповідь "ніт", просто в чому тоді ідея  :gigi:
береться модель Чат ЖПТ або інша. Купується ліцензія для приватного використання. підключається до приватних гіт хабів, документів тощо. навчається, тейлориться під власні потреби. потім по ходу підучується на відкритих даних (якось об'єднується періодично з апдейтами?).

при цьому ця модель буде розумна і ще буде мати знання бізнесу що часто засекречені.

Offline Комашки

  • Ветеран форума
  • ******
  • Повідомлень: 7690
Re: Ідея прийшла в голову
« Reply #18 : Березня 09, 2023, 10:36:44 22:36 »
береться модель Чат ЖПТ або інша. Купується ліцензія для приватного використання. підключається до приватних гіт хабів, документів тощо. навчається, тейлориться під власні потреби. потім по ходу підучується на відкритих даних (якось об'єднується періодично з апдейтами?).

при цьому ця модель буде розумна і ще буде мати знання бізнесу що часто засекречені.
1) Припустимо купили модель/ліцензію від Чат ГПТ.
2) Припустимо отримали по ній ще "малесеньку" модель, якщо я правильно розумію сенс задуму.
3) Припустимо підключили її до всіх двох з половиною приватних гіт-репозиторіїв.
4) Отримали оверфіт моделі, бо ті два з половиною репо для неї ніщо. Нуль цілих нуль десятих відсотка даних гітхабу.
5) Пішли по ходу навчати на відкритих даних, тобто робити те на що в Чат ГПТ й було влито мульйони грошей.
6) Й навіщо?

Offline Комашки

  • Ветеран форума
  • ******
  • Повідомлень: 7690
Re: Ідея прийшла в голову
« Reply #19 : Березня 09, 2023, 10:42:59 22:42 »
при цьому ця модель буде розумна
Це з якого переляку
і ще буде мати знання бізнесу що часто засекречені.
Знань ніяких вона мати не буде, це все одно, ненауково кажучи, LSTM на стероїдах з можливістю робити екстраполяції коли чогось не може взяти з L.
"Засекречені знання бізнесу" це як "неперевершене сесуріті опенсорсу". Тобто що то лайно, що то лайно - просто на перше ніхто не дивиться, й типу в теорії там "секретні знання" - а на друге дивляться всі, й типу в теорії там "всі баги та дірки вже мутрий нарід позатикав".

Offline Ali(UA)

  • Ветеран форума
  • ******
  • Повідомлень: 9338
Re: Ідея прийшла в голову
« Reply #20 : Березня 09, 2023, 11:25:40 23:25 »
https://twitter.com/tomgoldsteincs/status/1600196981955100694

питання знімається. на данний момент

Offline Outlander

  • Ветеран форума
  • ******
  • Повідомлень: 3069
  • Стать: Чоловіча
Re: Ідея прийшла в голову
« Reply #21 : Березня 09, 2023, 11:36:50 23:36 »
питання знімається. на данний момент
:lol:
Oh gravity, thou art a heartless bitch. (C)  :gigi:
"El leon es fuerte porque los otros animales son debiles" / Лев сильний лише тому що інші звірі слабкі / Subcomandante Marcos

Offline Ali(UA)

  • Ветеран форума
  • ******
  • Повідомлень: 9338
Re: Ідея прийшла в голову
« Reply #22 : Березня 09, 2023, 11:53:19 23:53 »
хоча 500-800 ГБ якщо подумати то ніщо. одна A-100 $3 в годину - теж ніщо. правда не буде стільки потужності але ж воно й не треба для приватного користування.

Offline Outlander

  • Ветеран форума
  • ******
  • Повідомлень: 3069
  • Стать: Чоловіча
Re: Ідея прийшла в голову
« Reply #23 : Березня 10, 2023, 12:11:52 00:11 »
хоча 500-800 ГБ якщо подумати то ніщо. одна A-100 $3 в годину - теж ніщо. правда не буде стільки потужності але ж воно й не треба для приватного користування.
З розумінням англійської я дивлюсь також проблеми виникають.  :gigi:

Цитувати
Of course, you could never fit ChatGPT on a single GPU.  You would need 5 80Gb A100 GPUs just to load the model and text.  ChatGPT cranks out about 15-20 words per second. If it uses A100s, that could be done on an 8-GPU server (a likely choice on Azure cloud).
"El leon es fuerte porque los otros animales son debiles" / Лев сильний лише тому що інші звірі слабкі / Subcomandante Marcos

Offline Ali(UA)

  • Ветеран форума
  • ******
  • Повідомлень: 9338
Re: Ідея прийшла в голову
« Reply #24 : Березня 10, 2023, 12:19:20 00:19 »
пишуть для ЛЛами що злили не дуже багато потрібно

LLaMA-7B runs at great speeds on 8GB cards. Better than any other model that could run on those cards.

I'm running LLaMA-13B on 16GB of VRAM right now.

Offline Ali(UA)

  • Ветеран форума
  • ******
  • Повідомлень: 9338
Re: Ідея прийшла в голову
« Reply #25 : Березня 10, 2023, 12:21:25 00:21 »
З розумінням англійської я дивлюсь також проблеми виникають.  :gigi:

помнож на 5? $15 теж не смертельно.

Offline Комашки

  • Ветеран форума
  • ******
  • Повідомлень: 7690
Re: Ідея прийшла в голову
« Reply #26 : Березня 10, 2023, 12:34:49 00:34 »
пишуть для ЛЛами що злили не дуже багато потрібно

LLaMA-7B runs at great speeds on 8GB cards. Better than any other model that could run on those cards.

I'm running LLaMA-13B on 16GB of VRAM right now.
А ви правда настільки дупля не висікаєте по "датасаєнсу", чи для підняття рівня гумористичності? :)

Offline Outlander

  • Ветеран форума
  • ******
  • Повідомлень: 3069
  • Стать: Чоловіча
Re: Ідея прийшла в голову
« Reply #27 : Березня 10, 2023, 12:39:34 00:39 »
помнож на 5? $15 теж не смертельно.
У AWS наприклад немає інстансів з 5 чи будь-якою іншою кількістю А100 відмінною від 8. І ціна p4d.24xlarge за годину - $32.7726. Якщо докинути витрати на Storage, Data Transfer і всі інші кости які Амазон порахує окремо то вийде $35 баксів за годину. 26 тисяч баксів на місяць. Копійки. Щоб запустити локально і так доступну хрінь у якої раз на день зможеш спитати хто такий Магелан, чи як в пайтоні факторіал через рекурсію порахувати.  :lol:
"El leon es fuerte porque los otros animales son debiles" / Лев сильний лише тому що інші звірі слабкі / Subcomandante Marcos

Offline Ali(UA)

  • Ветеран форума
  • ******
  • Повідомлень: 9338
Re: Ідея прийшла в голову
« Reply #28 : Березня 10, 2023, 12:43:09 00:43 »
У AWS наприклад немає інстансів з 5 чи будь-якою іншою кількістю А100 відмінною від 8. І ціна p4d.24xlarge за годину - $32.7726. Якщо докинути витрати на Storage, Data Transfer і всі інші кости які Амазон порахує окремо то вийде $35 баксів за годину. 26 тисяч баксів на місяць. Копійки. Щоб запустити локально і так доступну хрінь у якої раз на день зможеш спитати хто такий Магелан, чи як в пайтоні факторіал через рекурсію порахувати.  :lol:
тобі ніхто не заставляє тримати його включеним весь цей час. і там про ажур а не амазон

я розумію що це коштує але для бізнесу не середнього а більшого до 10 тис баксів на місяць то не гроші.

якшо воно користь буде приносити.

Offline Outlander

  • Ветеран форума
  • ******
  • Повідомлень: 3069
  • Стать: Чоловіча
Re: Ідея прийшла в голову
« Reply #29 : Березня 10, 2023, 01:08:02 01:08 »
тобі ніхто не заставляє тримати його включеним весь цей час. і там про ажур а не амазон
І що? У Ажура хоч і є проміжні варіанти - 1, 2, 4 GPU але вони не підходять. А наступний після 4 GPU - також 8 GPU - ND96amsr A100 v4 - $24 бакси за годину. З усім реманетнтом буде $26. 20 тисяч баксів місяць. Але Ажур настільки кривий в усьому - від дуже обмеженого вибору AMI до кривих драйверів, що порекомендувати його використання я можу лише власним ворогам.  :weep:
А щодо не тримати включеним, це ще один раз доводить, що ти дупля не відбиваєш про що пишеш. Ти не можеш просто так взяти і включити ці інстанси коли хочеш. Виключити так - без проблем. А от включити потім буде знову буде проблемно. На них черга стоїть. Уже давно. І тобі просто ГУІшка покаже що в даний момент вільних ресурсів для тебе немає. І будеш годинами клацати на "Старт" щоб через десятків секунд отримати відлуп. Я скрипт спеціальний писав, який через API тузав запуск існтанса, а потім мені нотіфікейшн кидав у випадку удачі, щоб я навіть вночі встав і запустив навчання, бо нарешті з'явився вільний інстанс і я його зайняв. :laugh:

я розумію що це коштує але для бізнесу не середнього а більшого до 10 тис баксів на місяць то не гроші.
Ну так для бізнесу і підписку на ChatGPT оформити то не гроші.

якшо воно користь буде приносити.
ЯКУ КОРИСТЬ? Ту користь яку воно може приносити воно уже чудово приносить через API open.ai. В обмеженому безкоштовному, чи в платному варіантах.
"El leon es fuerte porque los otros animales son debiles" / Лев сильний лише тому що інші звірі слабкі / Subcomandante Marcos